对图形界面的操作元素进行定位的方法及装置

本说明书实施例提供一种对图形界面的操作元素进行定位的方案，在多模态大模型推理阶段，针对当前的操作指令以及界面数据，利用多模态大模型进行操作元素坐标的初步预测，得到预测过程中操作指令的各个文本词元与界面数据的各个视觉词元的交叉注意力值。然后，基于各个交叉注意力值的大小，确定若干目标子区域，并利用多模态大模型，预测各个目标子区域的候选操作坐标。接着，对各个候选操作坐标进行聚类，得到若干聚类类簇，根据包含候选操作坐标最多的聚类类簇，确定操作元素的目标操作坐标。如此，可以在不增加训练成本、不引入误差累积、且不依赖高精度注意力结果的前提下，提高定位准确性。