一种大语言模型的流式思考与推理系统及方法

本发明涉及大语言模型技术领域，尤其涉及一种大语言模型的流式思考与推理系统及方法，该系统包括流式思考数据生成单元、流式训练单元和流式并行推理单元；流式思考数据生成单元，用于将连续的推理数据拆分为若干推理思考单元，得到多个思考片段；流式训练单元，采用独立的位置编码机制和流式掩码机制预训练大语言模型，使得大语言模型适应流式思考范式；流式并行推理单元针对多个思考片段，使用训练好的大语言模型进行跨GPU流式并行推理，跨GPU解耦输入令牌缓存池和推理思考令牌缓存池，在推理时实现阅读和思考的跨GPU并发执行。与现有技术相比，本发明具有显著降低延迟，提升用户交互体验等优点。