视觉语言引导的跨域视觉情感预测方法和系统

本申请涉及一种视觉语言引导的跨域视觉情感预测方法和系统。该方法包括：获取多个源域中的图像样本及对应情感分布标注；针对每个图像样本生成描述文本；将图像样本、描述文本以及多个情感类别分别编码；对图像特征与描述文本特征进行门控融合，得到样本融合表示；根据情感语义嵌入生成任务适配情感原型，并将样本融合表示与情感原型结合，获得节点矩阵执行图推理，并与基础预测分支联合输出情感分布预测结果；基于联合优化目标函数对视觉情感分布预测模型的网络参数进行迭代更新，直至获得训练好的视觉情感分布预测模型，采用训练好的视觉情感分布预测模型对待情感预测图像进行预测，输出视觉情感分布。从而提升了跨域视觉情感分布预测的稳定性。