Back to Search
Dossier
一种多模态内容协同生成方法
InventionActive
10Claims · 2 independent
§ Ⅰ
Dossier Overview
Applicant
北京顶点透视公关顾问有限公司
Inventor
朱子辉; 江忠锋; 成文斌; 孙志明
IPC Classification
G06N 20/00 (2019.01)G06N 3/0475 (2023.01)G06F 18/213 (2023.01)G06F 18/22 (2023.01)G06F 40/30 (2020.01)G06F 16/906 (2019.01)G06F 16/903 (2019.01)G06F 9/50 (2006.01)G06F 9/48 (2006.01)G06F 16/901 (2019.01)G06F 3/0484 (2022.01)
本发明公开的属于人工智能多模态生成技术领域,具体为一种多模态内容协同生成方法,包括具体步骤如下:S1:接收用户输入的多模态生成需求;S2:基于需求所属场景;S3:通过三重维度分类存储、语义相似度智能检索、历史资源适应性优化;S4:先基于预训练的跨模态语义模型,并结合约束报告和复用资源包;S5:实时监控系统算力状态,结合各模态生成器的资源需求差异与用户需求紧急度;S6:根据语义标签、关联关系、约束适配报告和调度策略,调度各模态生成器。本发明通过构建多模态统一语义空间,将各模态初始特征映射至该空间并建立模态语义标签关联关系,具有实现多模态内容语义强关联、避免不同模态语义冲突、提升内容一致性的优点。
External Resources