検索に戻る
案件記録

一种基于多模态融合的直播带货实时检测方法及系统

発明有効
10請求項 · 2 独立
§ Ⅰ

案件概要

発明者

胡雅慧; 方道广; 张涛; 赖小科; 郑中尧; 房树仁; 常春梅; 周旋; 孙潇涵; 吴振宇

IPC分類

G06V 10/764 (2022.01)G06V 10/70 (2022.01)G06V 20/40 (2022.01)G06V 10/75 (2022.01)G06V 10/82 (2022.01)G06F 40/30 (2020.01)G06N 3/042 (2023.01)

本申请涉及多模态数据处理技术领域,公开了一种基于多模态融合的直播带货实时检测方法,包括以下步骤:S1、将实时采集的多模态直播数据流;S2、基于所述原子事件序列,增量式构建一个动态语义事件图;S3、在动态语义事件图上;S4、根据子图匹配检测或所述结构性异常检测的结果。通过将视频音频文本等多模态数据流统一抽象为结构化的原子事件,并增量式构建一个能表达事件间时间、实体与逻辑关联的动态语义事件图,实现了对离散、异构的直播信息进行深度融合与上下文关联,克服了传统方法仅能进行浅层特征拼接的局限,能够从全局视角洞察不同模态事件间的内在联系与组合模式,为后续的复杂行为识别提供了统一且富含语义的数据基础。

外部リソース