基于存内计算设备的大模型编译优化方法及系统

本发明实施例提供了基于存内计算设备的大模型编译优化方法及系统。该方法先将大模型的高维张量拆分为适配存储阵列的子张量，避免存储资源因数据尺寸不匹配产生浪费，并将复用率大于预设阈值的权重数据预加载至设备存储区，可避免权重数据重复搬运；再基于预设算子指令匹配表，构建大模型算子和存内计算指令的映射关系，确保设备指令资源能被大模型算子高效调用；然后基于子张量数据量、算子与指令的映射关系，将目标计算任务拆分为子任务并分配至目标计算单元，实现计算单元资源与任务类型的精准匹配；最后根据分配结果生成设备可执行指令流，确保优化后存内计算设备的存储、指令、计算单元资源均与大模型计算需求适配，可提升设备资源利用率。