一种视频中人物嘴型与语音内容匹配修复的方法、装置、电子设备及存储介质

本申请提供了一种视频中人物嘴型与语音内容匹配修复的方法、装置、设备及存储介质，属于图像处理领域，通过获取原始视频数据和待补充的文本信息，进行语音合成并生成语音特征参数，进而生成与语音内容同步的嘴型动画序列。利用语义分割模型对嘴部区域进行像素级识别，并结合物理约束模型对牙齿区域进行控制，若牙齿区域超出嘴唇轮廓则进行动态回归调整，确保生成嘴型的自然性与合理性。进一步地，通过密集跨层连接、特征金字塔结构、牙齿区域特化跳跃连接及牙齿关键点热图门控机制，提升牙齿区域生成精度；在解码器中引入空间‑通道双注意力算法，增强嘴部关键区域的特征表达；采用牙齿区域焦点损失函数优化生成结果，提升模型鲁棒性。通过微分物理引擎模拟质点弹簧系统及对抗性物理约束项，实现嘴唇关键点的物理合理性控制。最终将生成嘴型动画与原始视频融合，输出修复后的视频，显著提升视频中语音与嘴型的一致性与真实感。