基于多模态信号分析的神经认知特征识别方法

本发明公开了一种基于多模态信号分析的神经认知特征识别方法，通过同步采集脑电信号与眼动信号并分别提取脑电时频特征序列与注视点空间轨迹特征序列，利用循环编码网络对两模态特征序列进行编码以获取隐含状态向量，再计算各时间步的逐元素乘积并进行全局平均池化得到跨模态关联度量值，进而经激活函数映射为动态融合权重对两模态隐含状态向量进行自适应加权求和，解决了单一模态信号易受环境噪声、个体生理差异及测量伪影干扰而导致识别稳定性不足的问题，同时克服了传统固定权重融合策略未能充分考虑不同模态在时间尺度与特征空间上差异的不足，实现了多模态信息的深度协同利用，提高了神经认知特征识别的准确率与稳定性。