文本生成方法、装置、设备、介质和程序

本申请实施例提供一种文本生成方法、装置、设备、介质和程序，该方法通过对LLM的输入指令进行结构分析，得到输入指令包括的多个子指令，在每个标记的生成过程中，获取LLM的第l层的第h个注意力头的注意力矩阵，根据注意力矩阵动态从多个子指令中识别出当前生成阶段中的关键子指令，关键子指令为对预测下一个标记贡献最大的子指令，屏蔽注意力矩阵中关键子指令的不相关子指令的注意力分数得到引导后的注意力矩阵。由于引导后的注意力矩阵中屏蔽掉了关键子指令的不相关子指令，从而使得LLM在生成下一个标记时，能够专注于当前生成阶段中的关键子指令，避免不相关信息的干扰，提高了LLM的输出结果的质量。