一种多模态原型网络及用于可解释情感分类的方法
本发明涉及情感分析技术领域,尤其涉及一种多模态原型网络及用于可解释情感分类的方法。本发明网络包括依次连接的数据转序列器、模态特定编码器、双分支原型网络和情感预测器。本发明内设有双分支原型网络,可以实现双维度可解释性输出,既能量化各模态对情感分类的贡献度并排序,又能定位每个模态中影响分类结果的关键时序片段,明确模型决策依据。同时,发明的局部原型网络通过将二维的时间特征序列转换为三维结构,学习模态内时间序列的原型特征,能捕捉不同时间段的情感信号变化,解决传统方法仅关注静态特征的缺陷。然后结合时序贡献排序,可直观展示多模态数据在时间维度上对情感分类的动态影响,提升对时序情感模式的解读能力。