基于屏幕语义识别的无代码RPA流程自动生成方法
本发明涉及机器人流程自动化技术领域,公开了基于屏幕语义识别的无代码RPA流程自动生成方法,包括将像素矩阵与离散操作事件构建为时序运算数据集;对关键帧提取视觉特征生成离散视觉节点,计算节点间距离与误差构建有向边,生成弹性拓扑语义子图及全屏幕有向无环图;计算时序方差生成二值化掩码矩阵并提取区域感知稳态哈希值;对操作前后的有向无环图执行差分相减计算生成语义增量期望矩阵;将上述数据封装为闭环状态验证节点;利用近似子图匹配算法寻址,并在哈希值达收敛阈值时下发操作指令,实际语义满足后置状态条件时存入该节点。本发明不依赖底层代码,解决界面结构变化导致的定位失效问题,实现自动化流程的闭环状态验证。