基于语义与声学韵律特征的认知障碍早期识别方法及系统

本发明公开一种基于语义与声学韵律特征的认知障碍早期识别方法及系统，包括：向受测人员呈现连续情节图片序列以采集故事叙事语音，并经语音识别获得对应文本；对文本进行语义和叙事时序建模，提取文本全局表征；提取停顿、时长、语速、音节及分级停顿统计特征，经自适应重加权后构建分组和全局声学表征；以文本表征为查询、声学表征为键和值，通过交叉注意力和门控残差融合输出认知状态。训练采用两阶段策略：第一阶段学习多模态联合表征；第二阶段加载最优模型，冻结分类器以外参数，保留全部少数类样本并采用动态随机无放回下采样策略抽取多数类样本，采用交叉熵损失微调原分类器。本发明可用于类别不平衡条件下的认知障碍早期辅助筛查。