江苏南大文化科技股份有限公司

本发明公开了一种基于多模态融合的虚拟数字人智能生成方法及其系统，包括提取对应的数据特征以生成第一单模态数据、第二单模态数据和第三单模态数据；通过多模态特征融合网络，进行特征级多模态融合，获取多模态数据特征；将所述多模态数据特征与预存的数据交互知识库进行遍历匹配，获取对应的数据问答词条及其关联衍生词条的第一交互问答信息，以及响应所述第一交互问答信息，触发并获取实时反映词条信息适配性的第二交互问答信息；构建初始虚拟数字人的交互语音信息；利用所述第一单模态数据、第二单模态数据、第三单模态数据和交互语音信息，利用DiffGAN融合模型生成初始虚拟数字人，生成具有高度逼真性和自然交互能力的虚拟数字人。