CNIPA.AI
返回搜索
档案

多模态混合生成模型的训练方法、装置、存储介质及设备

发明专利有效
10权利要求 · 4 独立
§ Ⅰ

卷宗概要

发明人

杨春宇; 陈峰; 王静; 严妍; 汪敏

IPC 分类

G06N 20/00 (2019.01)G06F 16/48 (2019.01)

本申请公开了一种多模态混合生成模型的训练方法、装置、存储介质及设备,属于深度学习技术领域。利用文本分词器对第一文本进行编码,利用图像分词器对第一图像进行编码,根据编码结果和真值训练MixIt模型;根据第二训练样本生成加噪图像向量,加噪图像向量是将随机噪声添加至图像向量后生成的;利用Flux模型对第二训练样本中的提示词进行编码,得到文本向量;利用ControlNet模型对图像向量和文本向量进行处理,将控制向量输出至Flux模型;利用Flux模型对加噪图像向量、文本向量和控制向量进行处理,根据预测噪声和随机噪声训练Flux‑ControlNet模型。本申请能生成包含高质量图像的图文混合内容。

登录后阅读全文

已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。

  • 全部权利要求
  • 技术领域
  • 背景技术
  • 发明内容
  • 附图说明
  • 具体实施方式