多模态混合生成模型的训练方法、装置、存储介质及设备

本申请公开了一种多模态混合生成模型的训练方法、装置、存储介质及设备，属于深度学习技术领域。利用文本分词器对第一文本进行编码，利用图像分词器对第一图像进行编码，根据编码结果和真值训练MixIt模型；根据第二训练样本生成加噪图像向量，加噪图像向量是将随机噪声添加至图像向量后生成的；利用Flux模型对第二训练样本中的提示词进行编码，得到文本向量；利用ControlNet模型对图像向量和文本向量进行处理，将控制向量输出至Flux模型；利用Flux模型对加噪图像向量、文本向量和控制向量进行处理，根据预测噪声和随机噪声训练Flux‑ControlNet模型。本申请能生成包含高质量图像的图文混合内容。