基于AI的文本生成方法及系统

本发明提供基于AI的文本生成方法及系统，方法包括：自文本数据中提取全局语义文本向量序列，并自图像数据中提取空间关联图像向量序列；基于两者获取文图注意力权重矩阵及图文注意力权重矩阵；进而获取全局文图向量序列及空间图文向量序列，基于全局文图向量序列及空间图文向量序列获取多模态融合特征；以多模态融合特征为语言模型的条件信息，以通过语言模型输出若干个查询文本，并输出与查询文本对应的置信度。通过进行细粒度对齐，确保了图文特征之间的关联性，解决了模态差异的问题，提高了不同模态间的语义关联度；基于门控权重动态化计算图文融合过程中的对文本或对图像的依赖度，进一步挖掘了不同模态间的深层语义关联。