基于双流非局部特征提取的CNN-LSTM精神发育迟滞自动评估方法及系统

本发明公开了一种基于双流非局部特征提取的CNN‑LSTM精神发育迟滞自动评估方法及系统，其中方法包括如下步骤：S1、采集标准化场景下的精神发育迟滞患者受试者行为视频，由专业医生标注MR程度标签；S2、从原始视频中提取出RGB图像和Flow图像，采用相应的筛选策略对图像进行处理；S3、构建CNN‑LSTM基础模型；S4、在CNN‑LSTM基础模型中引入非局部机制Non‑Local层，构建NL CNN‑LSTM模型；S5、设计双流网络结构，双流网络结构中分别以RGB图像和Flow图像为输入构建RGB模型和Flow模型，采用贡献度加权的方式融合两个模型的输出结果；S6、采用交替训练的方式对双流NL CNN‑LSTM模型进行训练；S7、完成模型训练。本发明通过融合RGB与Flow特征、引入非局部机制及优化训练策略，实现高效、客观的评估。