一种数据优化方法、装置、电子设备及存储介质

本申请实施例提供的一种数据优化方法、装置、电子设备及存储介质，所述方法包括基于当前键值数据的查询信息，获取已存储键值数据的目标注意力权重；查询信息用于表征当前键值数据对应的词元的信息；在已存储键值数据的存储空间达到预设缓存阈值时，基于已存储键值数据的目标注意力权重，在已存储键值数据中确定第一键值数据及第二键值数据；基于第一键值数据中的值数据与第二键值数据中的值数据，更新已存储的第二键值数据中的值数据，删除已存储的第一键值数据，并存储当前键值数据。用以保证模型的性能的同时，可以达到压缩KV缓存的目的。