№ CN122950137A発明
不明一种基于视频对话的多模态抑郁症筛查方法及装置
本发明涉及人工智能与医疗健康领域,公开了一种基于视频对话的多模态抑郁症筛查方法及装置,包括以下步骤:步骤一:多模态数据采集与预处理;步骤二:多模态特征提取;步骤三:跨模态特征对齐与融合;步骤四:抑郁症识别与评估;本发明中,采用基于交叉注意力的渐进式多模态融合方法,以视觉特征作为查询,分别与语音特征和文本特征进行交叉注意力计算,并通过残差连接与层归一化得到融合表征,使不同模态的特征在保留各自特异性的同时实现有效的跨模态交互,解决了现有技术中模态融合效果欠佳、融合表征判别力有限的问题,其次,本发明引入基于ChatGLM的多模态大模型架构,通过LoRA低秩适应技术进行参数高效微调,大幅降低了计算资源需求。
❖深圳城市职业学院(深圳技师学院)廖永为; 陈炜炜; 张宜彬; 颜利宏Oct 20, 2026§ 2/10 請求項G16H 50/30 (2018.01), G16H 50/70 (2018.01), G06F 18/213 (2023.01) +19