一种基于书生大模型的复杂场景投机解码方法和系统

本发明公开了一种基于书生大模型的复杂场景投机解码方法和系统，属于真实场景异常理解领域。获取多场景工业异常检测图像数据及对应的文本问题任务；基于文本问题任务得到文本嵌入和对应的最后层隐藏状态，基于图像样本得到压缩视觉token与全局视觉特征向量；压缩视觉token、全局视觉特征向量、文本嵌入与对应的最后层隐藏状态通过草稿模型生成草稿概率分布和待验证token序列，目标模型基于待验证token序列计算得到目标概率分布，将草稿概率分布和目标概率分布通过对比判定对应候选token是否保留；本发明通过在工业检测领域引入投机解码，实现了高效的多模态异常理解与定位。