一种基于多模态知识增强的大模型检索增强生成方法、设备及介质

本发明提供一种基于多模态知识增强的大模型检索增强生成方法、设备及介质，属于自然语言处理领域，方法对文本、图像、音频和视频数据分别进行处理，生成统一的检索增强文本描述与信息更丰富的生成增强文本描述，并存入统一的数据库。对于用户查询，根据其模态类别适配地进行混合检索，将检索到的生成增强文本描述与用户查询结合，输入通用文本大模型生成最终回答。方法通过构建统一的文本化知识表示，实现多模态信息的组织与跨模态检索，降低了系统复杂度。在生成阶段充分利用了多模态上下文信息，从而提升了生成内容的准确性和可解释性，提高了系统的稳定性与可扩展性。