模型精度检测方法、装置、计算机设备及可读存储介质

本申请涉及一种模型精度检测方法、装置、计算机设备及可读存储介质。方法包括：在LLM进行推理过程中，在LLM生成第一数量个Token后，从LLM的预设网络层的各注意力头中，选取多个第一注意力头；根据每一第一注意力头对应的注意力权重，确定对应第一注意力头的第一熵值；根据各第一注意力头的第一熵值，确定第一精度参数；根据第一精度参数和熵值阈值，确定LLM的精度检测结果。采用本方法能够在LLM推理过程中，实时检测KV cache低精度量化导致的精度退化。