一种基于界面代理的集成控制方法、系统、介质及产品

本申请提供一种基于界面代理的集成控制方法、系统、介质及产品，方法包括如下步骤：与远程设备建立连接并获取图形用户界面的实时图像流；识别图像流中的界面元素，确定其位置和类型；根据类型创建对应的本地代理对象，并基于位置建立本地代理对象与远程元素之间的数据绑定关系和事件绑定关系。在控制侧，方法接收针对本地代理的控制操作，基于事件绑定生成并发送模拟输入事件至远程设备；持续检测图像流中界面元素限定的区域变化，基于数据绑定解析状态数据，并更新本地代理对象的状态；基于更新后的状态生成本地控制指令。实施本申请提供的技术方案，实现了异构设备的统一接入与远程控制。