一种词元级文本图像生成模型微调方法及相关设备

本申请实施例提供了一种词元级文本图像生成模型微调方法及相关设备，属于生成式人工智能领域。该方法包括：输入文本‑图像对训练数据至生成模型并获得生成图像；将文本提示分解为词元序列并提取其嵌入向量；分别计算各词元与参考图像及生成图像的相似度，并转换为参考概率分布和生成概率分布；利用Bregman散度计算两分布间的差异以构建语义对齐损失；根据每个词元的参考相似度与生成相似度的数值关系，动态分配优化权重；利用权重对语义对齐损失进行加权，得到词元级加权损失；将其与模型的原始损失函数结合为混合损失函数，对模型进行迭代优化。本发明能够显著提升生成图像在颜色、位置、属性等细节上的忠实度，同时避免过拟合，保持生成多样性。