基于大模型的心理健康情感深度交互方法、系统及设备

本发明公开了一种基于大模型的心理健康情感深度交互方法、装置及设备，包括：采集心理健康患者的面部视频数据和医疗文本信息；获取医疗文本特征向量和面部视频特征向量；将医疗文本特征向量和面部视频特征向量映射到同一语义空间进行深度对齐，构建跨模态检索模型；通过跨模态检索模型检索与待测者相似的历史病历数据；根据待测者的面部视频特征向量生成面部动态折线图；根据跨模态检索模型检索的与待测者相似历史病历及其医疗数据生成可解释性诊断报告；根据待测者的面部视频数据进行三维人脸重建并与三维脸谱库进行比对，输出与典型病情脸谱的相似度。本发明实现了从原始数据到多维度、可解释辅助诊断结果的端到端自动生成。