中国电影产业集团股份有限公司北京人工智能研究应用分公司

本申请提供一种基于视频特征和情节摘要细粒度的电影对白翻译方法，包括：针对融合编码向量，采用分层聚类算法进行分组，若聚类中融合编码向量同时包含主体与环境关系明确和景深范围狭窄的特征，则判定为特写与全景的过渡场景，形成情节摘要向量序列；通过精炼情节摘要向量与融合编码向量，采用序列到序列模型解码生成翻译对白序列，该模型输入整合了空间范围广与主体占据画面大特征的精炼情节摘要向量，输出情感增强的翻译文本；针对翻译对白序列，从视觉特征向量序列中提取光影设计特征与色彩色调特征，采用向量拼接算法连接光影设计特征、色彩色调特征与翻译对白序列的词嵌入向量，调整翻译对白序列的情感强度，得到最终翻译序列。