№ CN122973025A発明
不明多模态融合的状态辅助识别方法、系统、设备及存储介质
本申请涉及一种多模态融合的状态辅助识别方法、系统、设备及存储介质,本申请通过获取脑电信号、语音信号和人口学信息,获得嵌入序列和人口学上下文向量并进行共享‑特异表示分解;基于人口学上下文向量调制共享表示并进行双向跨模态注意力交互;对共享表示和特异表示进行注意力加权聚合,确定融合系数获得融合共享表示及原型引导表示;根据融合共享表示、受试者级特异表示、人口学上下文向量和原型引导表示进行分类输出状态识别结果。从而减少单一模态信息不足造成的影响,降低不同类型特征相互混杂造成的冗余。
❖临港国家实验室琚佳伟; 刘宇; 李澄宇Oct 27, 2026§ 4/16 請求項A61B 5/16 (2006.01), G16H 50/20 (2018.01), G16H 50/70 (2018.01) +11