CNIPA.AI
검색으로 돌아가기
기록

一种基于图结构引导的跨模态扩散机制的多媒体推荐方法

발명유효
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

王正鸿; 陈佳敏; 孙腾达; 杨雪; 林政鸿

IPC 분류

G06F 16/9535 (2019.01)G06F 18/22 (2023.01)G06N 3/042 (2023.01)G06N 3/094 (2023.01)

本发明公开一种基于图结构引导的跨模态扩散机制的多媒体推荐方法。针对现有技术仅利用用户‑项目交互图而忽视项目间跨模态高阶结构的缺陷,GoodRec首先将视觉、文本等多模态特征映射到共享潜在空间,并构建统一的跨模态项目‑项目图;随后以黎曼流形上的热扩散方程为原型,在图上同时执行模态内与模态间特征传播,通过能量函数单调下降约束自动学习最优相似性矩阵;进一步引入对抗增强模块,将扩散后的多模态表示转化为用户对项目的偏好矩阵,并与原始交互矩阵融合,利用图神经网络聚合ID嵌入与多模态嵌入,最终输出个性化推荐概率。本发明首次将跨模态项目间的关联建模为多变量的热扩散系统,并引入能量函数来评估和优化跨模态图的质量。