基于多模态语义增强的界面操作测试方法、装置及设备

本申请实施例提供一种基于多模态语义增强的界面操作测试方法、装置及设备，涉及金融科技或其他相关领域。该方法包括：响应于输入的自然语言指令，确定自然语言指令对应的结构化数据，结构化数据用于指示测试界面、测试动作以及测试对象；基于结构化数据，从界面数据中心中确定对应的候选界面以及候选测试对象；在候选测试对象为多个的情况下，基于历史操作信息以及上下文信息，对多个候选测试对象进行多模态融合分析处理，得到每个候选测试对象的综合得分，并确定目标测试对象以及目标测试界面，对目标测试对象进行测试处理。本申请的方法，避免了自然语言指令存在对应多个同名测试对象或测试对象模糊的问题，提高了确定目标测试对象的准确率。