跨平台多模态界面元素识别方法与系统

本发明提出跨平台多模态界面元素识别方法与系统，方法包括：获取不同操作系统应用界面的图像特征向量和结构特征向量；其中，结构特征向量包括空间位置信息。根据空间位置信息从图像特征向量中裁剪出对应的图像区域，得到图像区域向量。根据结构特征向量、图像区域向量和预设的平台感知向量进行融合，得到目标融合特征向量。其中，将目标融合特征向量作为图节点，每一图节点之间的关系权重作为图边，根据图节点和图边构建界面元素关系图。根据界面元素关系图对目标融合特征向量进行语义增强，得到增强特征向量，将增强特征向量输入至预设的多层感知模型进行界面元素识别，得到识别结果，提高了界面元素识别的准确性。