一种面向大模型的混合模态文档检索方法

本公开提供一种面向大模型的混合模态文档检索方法。在接收到混合模态查询时，从语料库中检索到相关文档集合，并将这些文档与查询一同输入生成模型，从而得到输出结果，即，其中，为提示词，为检索器，为生成模型；其中，给定一个由大量混合模态文档组成的语料库，将混合模态内容定义为由文本与图像交错组成的有序序列：其中，表示文本片段，表示图像；该定义既适用于查询，也适用于文档；检索器的目标是在语料库中找到与查询最相关的前个文档。从而实现对多模态信息的统一建模和高效利用，提升生成模型在真实应用中的问答与内容生成质量。