文本数据处理方法、大语言模型的训练方法、装置和电子设备

本公开提供了文本数据处理方法、大语言模型的训练方法、装置和电子设备，涉及数据处理技术领域，尤其涉及人工智能、大模型技术。实现方案为：确定当前词元在大语言模型的当前层的上下文隐状态和当前层的字典基向量之间的相关度向量；将相关度向量和当前词元在当前层的中间态隐编码进行按元素相乘，以得到门控向量；利用门控向量对当前层的字典基向量进行线性组合，以得到当前层用于当前词元的记忆嵌入残差；将记忆嵌入残差注入上下文隐状态，以将当前层的字典基向量的语义嵌入大语言模型的上下文感知过程；利用大语言模型基于注入有记忆嵌入残差的上下文隐状态输出文本预测结果。