一种基于分段KL约束与多维奖励的大模型安全优化方法

本发明提供了一种基于分段KL约束与多维奖励的大模型安全优化方法，首先让模型对同一个提示词生成多个回答，然后通过DeepSeek‑Reasoner评分系统获取安全性、效用性、思考分析性、详细性、合理性五维评分，再通过标准化计算优势值，之后基于输入指令的风险等级动态确定位置阈值k，对生成序列的前k个token施加严格KL约束以确保起始安全性，对后续token施加弱约束以释放创造力，总约束为两段KL散度的加权和，最后基于GRPO算法，结合分段KL约束和多维奖励利用Lora方法更新模型参数，通过多样性指标及计算效率验证优化效果。本发明方案实现了大模型生成内容的安全可控与质量提升，平衡了安全性与创造性，降低部署成本。