一种基于幅度校准对比对齐的多模态推荐方法及系统
本发明提供了一种基于幅度校准对比对齐的多模态推荐方法及系统,包括:获取用户—物品交互数据及各物品的多模态特征,所述多模态特征包括视觉特征、文本特征与音频特征中的至少两种;对每个物品的各模态特征进行编码,并将潜在表征解耦为主语义嵌入和校准嵌入;利用主语义嵌入确定跨模态对齐方向,利用校准嵌入估计跨模态一致性并生成幅度权重,构建幅度校准对比对齐损失,抑制表面相似但跨模态不一致的误导性关系;引入用户反馈监督信号,对用户历史交互行为及隐式偏好进行建模,使多模态表征与用户偏好模式保持一致;将校准对齐后物品的多模态表征进行融合,联合生成用户和物品表示并输出推荐结果。