多模态融合的状态辅助识别方法、系统、设备及存储介质

本申请涉及一种多模态融合的状态辅助识别方法、系统、设备及存储介质，本申请通过获取脑电信号、语音信号和人口学信息，获得嵌入序列和人口学上下文向量并进行共享‑特异表示分解；基于人口学上下文向量调制共享表示并进行双向跨模态注意力交互；对共享表示和特异表示进行注意力加权聚合，确定融合系数获得融合共享表示及原型引导表示；根据融合共享表示、受试者级特异表示、人口学上下文向量和原型引导表示进行分类输出状态识别结果。从而减少单一模态信息不足造成的影响，降低不同类型特征相互混杂造成的冗余。