CNIPA.AI
Back to Search
Dossier

一种基于多模态大模型的报纸复杂版式结构化辨识方法及系统

InventionActive
10Claims · 2 independent
§ Ⅰ

Dossier Overview

Inventor

赵锦; 王文强; 张栋梁

IPC Classification

G06V 30/412 (2022.01)G06V 30/413 (2022.01)G06V 30/414 (2022.01)G06V 30/416 (2022.01)G06V 10/30 (2022.01)G06V 10/764 (2022.01)G06V 10/82 (2022.01)G06N 3/0895 (2023.01)G06N 3/096 (2023.01)

本发明涉及图像处理技术领域,具体为一种基于多模态大模型的报纸复杂版式结构化辨识方法及系统,包括以下步骤:报纸图像预处理,多模态大模型的专项微调与排版元素提取,后处理与优化;有益效果为:通过多步骤预处理优化报纸图像质量,利用经专项微调的多模态大模型提取报纸排版中的文字块、图片块、栏线等基础元素及标题层级、图文环绕方式等结构关系,结合后处理模块的规则校验与动态优化,输出高精度结构化排版数据。本发明解决了传统技术在复杂版式(多栏混排、竖排文字、广告穿插)及噪声场景(泛黄、折痕)下的辨识缺陷,显著提升排版元素提取的完整性与准确性,可直接应用于报纸数字化归档、版式复刻、内容二次编辑等场景。

External Resources