一种基于图片占位定位与二次视觉解释的桌面聊天多模态回复方法

本发明涉及智能交互技术领域，提供一种基于图片占位定位与二次视觉解释的桌面聊天多模态回复方法，包括:响应于从聊天上下文中读取到图片类附件占位且满足触发条件，对聊天截图执行保守区域裁剪，获得图片证据裁剪图；调用视觉模型对图片证据裁剪图进行结构化视觉解释，对解释结果进行清洗，生成带有置信度标记的图片证据；将图片证据中的关键词补充至知识检索查询以扩大检索召回范围，将图片证据作为弱证据连同预设的使用限制条件注入回复生成提示。本发明可以在显著提升聊天图片场景知识检索召回与回复质量的同时，杜绝视觉模型输出被误作确定事实的风险，并确保多模态能力失效时基础回复流程不受影响，实现智能增强与安全可控的统一。