多模态视频字幕与音频协同翻译及动态分流方法及系统

本申请涉及音视频协同翻译技术领域，公开了多模态视频字幕与音频协同翻译及动态分流方法及系统，包括：对预获取的多模态视频进行特征提取，模拟不同模态特征点之间的语义吸引与语义排斥情况，构建多模态语义场；计算第一流动路径中的语义流动能量差值，筛选出第一翻译区域和第二翻译区域；对字幕和音频进行协同翻译，得到第一翻译结果；结合第二翻译路径和对应的第一流动路径筛选出翻译难点，对翻译难点进行语义解码和语义缝合，得到第二翻译结果；结合第一翻译结果和第二翻译结果，得到协同翻译结果；本申请通过协同翻译，可以有效整合字幕和音频信息，提高翻译结果的准确性和一致性。