基于可视化标记和思维链提示的软件界面缺陷检测方法和装置

本申请提供了基于可视化标记和思维链提示的软件界面缺陷检测方法和装置，涉及人工智能领域。该方法包括：获取目标应用程序在不同界面显示状态下的多状态UI数据；对组件信息文件集合数据进行预处理操作以过滤冗余组件数据；构建邻接关系图，并基于深度优化算法遍历邻接关系图以输出按临近关系排序的组件层次视图；基于UI截图集合数据绘制可视化标记集；构建结构化文本描述，并将可视化标记集和结构化文本描述输入多模态大模型中；通过多模态大模型基于思维链提示机制执行软件界面缺陷检测输出缺陷检测结果。本申请解决了传统的静态特征提取方法无法有效捕捉UI组件动态变化带来的缺陷模式，导致在复杂场景下容易产生误检和漏检的问题。