文本图像和公式图像的统一识别方法、系统、存储介质及设备

本发明提供了一种文本图像和公式图像的统一识别方法、系统、存储介质及设备，属于计算机视觉和自然语言处理技术领域。本发明通过向训练标签序列中插入行结束标记与段落结束标记，显式编码文档层级结构；并构建语义解耦分词器，为文本与公式中的相同符号分配独立标识，解决语义混淆问题。基于视觉编码器提取图像特征后，结合解码器进行自回归训练，实现文本、公式及混合图像的高精度统一识别。本发明在仅0.1B参数规模下，达到与大规模模型相当的识别精度，显著提升了推理速度，可广泛用于文档数字化、学术文献处理等场景。