多模态情感分析与心理监测方法、装置、计算机设备及介质

本发明提供多模态情感分析与心理监测方法和装置，包括获取多模态情感数据，先对文本数据进行分词和情感标注生成词向量特征，及初步分析获取对应的正负向特征；提取其他模态的数据特征，并将所有模态的特征融合构建多模态数据特征，根据时间特征生成用户的情绪波动情绪图，并结合生理指标数据综合分析用户的心理状态并生成心理状态报告。本实施例通过以文本数据为主模态数据，帮助确定其他模态中与情感相关度高的特征，辅助其他模态的特征选择，保证从不同模态中获取一致或，互补的情感信息以提高情感分析准确性。同时在数据融合时，通过文本数据特征引导模型关注其他模态与文本情感相符的特征元素，加强模态间的情感联系，从而提升多模态融合效果。