一种基于多模态大模型的文档信息抽取方法、系统、电子装置及存储介质

本发明提供一种基于多模态大模型的文档信息抽取方法、系统、电子装置及存储介质，该方法将文档页面转换为图像并生成图像嵌入向量后存入特征存储库；在答案抽取时，将待抽取信息描述转换为查询嵌入向量，通过与图像嵌入向量的相似度得分初筛和多模态大模型视觉验证的两阶段检索定位目标页面；利用多模态大模型从目标页面中提取答案，并通过跨页答案续接机制处理跨页连续信息；最后结合光学字符识别和空间匹配算法实现抽取结果在文档页面中的定位。本发明有效解决了传统OCR方法丢失图像与结构信息、多模态大模型缺乏位置输出的问题，适用于复杂文档结构化处理场景。