元の名称記録: 杭州丝起科技有限公司

本申请提供一种边缘自组网的大语言模型协同推理方法及系统，包括：S1.在局域网内通过点对点协议发现至少一个可用的推理机并获取所述推理机的性能参数，所述性能参数包括计算能力和可用内存；S2.根据所述推理机的数量和所述性能参数，动态选择并行策略以分配大语言模型的计算任务，所述并行策略包括层级并行策略或分层协同策略；S3.基于所述并行策略，驱动所述推理机协同执行所述计算任务以生成推理结果；S4.通过分布式键值缓存管理所述计算任务的中间结果并监控所述推理机的状态以动态调整任务分配。本发明显著提升了边缘网络中大语言模型的推理效率，降低了单机负载压力，增强了系统鲁棒性和可扩展性，适用于动态变化的边缘计算场景。