№ CN122946365A발명
알 수 없음一种基于多模态大模型的文档信息抽取方法、系统、电子装置及存储介质
本发明提供一种基于多模态大模型的文档信息抽取方法、系统、电子装置及存储介质,该方法将文档页面转换为图像并生成图像嵌入向量后存入特征存储库;在答案抽取时,将待抽取信息描述转换为查询嵌入向量,通过与图像嵌入向量的相似度得分初筛和多模态大模型视觉验证的两阶段检索定位目标页面;利用多模态大模型从目标页面中提取答案,并通过跨页答案续接机制处理跨页连续信息;最后结合光学字符识别和空间匹配算法实现抽取结果在文档页面中的定位。本发明有效解决了传统OCR方法丢失图像与结构信息、多模态大模型缺乏位置输出的问题,适用于复杂文档结构化处理场景。
❖浙江华东工程数字技术有限公司; 中国电建集团华东勘测设计研究院有限公司唐弘毅; 李黎; 袁建平; 陆超华; 杜泽禹; 耿玉霞; 陈肖勇; 吴越; 方玲洪Oct 20, 2026§ 4/10 청구항G06F 16/14 (2019.01), G06F 16/11 (2019.01), G06F 16/16 (2019.01) +237