一种面向异构模态序列的对齐方法、装置、系统及存储介质

本申请公开了一种面向异构模态序列的对齐方法、装置、系统及存储介质。本申请方法包括：提取声学特征流的帧级声学向量及基频，生成第一模态序列；对语言模态进行词级概率编码，得到词边界概率矢量；从视觉关键点矩阵中提取唇部运动轨迹，构建第二模态序列。进一步，基于联合概率密度计算声学与语言模态的互信息函数，基于加权距离计算声学与视觉模态的距离函数，并据此动态确定模态权重，生成帧级融合特征向量。通过融合特征构建包含帧间差值、互信息损失与关键点匹配误差的多目标代价矩阵，基于最大斜率约束执行路径搜索，获取最小代价路径，输出统一时间对齐序列，实现多模态信息的精确时序同步。