一种面向不平衡数据的多模态深度学习分类方法及系统

本发明公开了一种面向不平衡数据的多模态深度学习分类方法及系统，涉及深度学习及强化学习领域，包括获取包含多模态数据的样本集；针对少数类样本集，构建模态关联学习模型以提取多个模态关联特征并形成特征集合；构建强化学习智能体，以分类精度作为奖励信号，通过增强学习策略动态选择最优的一个或多个模态关联特征的加权结果作为参考模态关联特征。在分类阶段，将待分类样本输入模态关联学习模型得到模态关联特征，若与参考模态关联特征的相似度超过预设阈值，则基于相似度大小调整分类输出概率权重，从而增强少数类样本的识别精度。本发明能够有效识别少数类特有的模态关联特征，显著提升不平衡数据条件下的分类精度与稳定性。