中铁成都科学技术研究院有限公司

本发明公开了一种基于多模态模型与多源数据的公路病害语义描述方法，属于特定计算机模型领域，包括步骤：构造公路病害相关的数据集D和知识库D；依次构造视觉模块、GIS模块、用户请求模块、信息检索模块、融合连接模块，并将上述各模块与大语言模型构成语义描述网络训练至收敛，用于生成公路病害语义描述。本发明将视觉语义识别、像素级病害掩膜生成、GIS空间几何量化、行业规范知识检索以及字段约束式语言生成进行统一融合，从而实现对公路病害类型、形态、位置、长度、面积、方向、严重程度和处置建议的准确、规范、可解释描述。且能保证生成结果的事实一致性和专业可靠性。