北京景安云信科技有限公司

本发明涉及人工智能与信息检索技术领域，尤其涉及一种基于人工智能的跨模态语音内容检索方法。本发明获取待对齐的语音信号的声学特征序列，经编码输出语音隐状态序列；获取候选文本库中的若干文本序列并分别编码，输出对应的文本隐状态序列；将语音隐状态序列与各文本隐状态序列输入基于语义对齐网络构建的相似度确定模型，语义对齐网络根据语音与文本的细粒度相似度矩阵确定最优对齐路径，该路径通过监督训练反作用于语音隐状态序列的特征优化，以优化全局池化后确定的全局语义相似度；根据各候选文本对应的全局语义相似度确定检索列表，并基于检索排序损失值判定是否重新确定所述最优对齐路径。本发明提高了跨模态语音内容检索的准确度。