基于扩散模型的背景连贯故事绘本生成方法

本发明公开基于扩散模型的背景连贯故事绘本生成方法，属于计算机视觉与生成式人工智能领域。该方法包括训练与测试两个阶段：训练阶段，通过特征增强融合模块对文本、背景及角色多模态条件进行双向交叉注意力融合与模态软选择，并利用联合对齐损失进行模型优化，采用参数高效微调方法对扩散模型进行参数高效微调；测试阶段，将用户输入的参考图像与文本序列处理为融合条件，驱动大语言模型生成图像标记，再经映射器转换为扩散条件，通过自回归方式联合多条件注入扩散网络，逐步生成每一帧图像。本发明有效解决跨帧背景、风格与角色的不一致性问题，实现长序列故事绘本的高质量、连贯性生成。