一种大模型感知切分的多终端设备协同推理方法及系统

本发明涉及模型推理技术领域，公开了一种大模型感知切分的多终端设备协同推理方法，包括：对目标大语言模型的计算图进行细粒度解析，识别各算子类型及其计算‑通信特性；根据算子的类型、内存占用、计算强度及注意力机制变体，自动生成差异化的权重划分策略；将划分后的权重分片与计算任务映射至多个边缘设备，构建各设备的最小执行子图；在推理过程中，采用主机中心化聚合协调与计算‑通信重叠机制，最小化同步开销；执行自回归推理，逐token生成输出，并通过动态权重缓存机制优化后续推理效率。