端侧Transformer动态权重加载优化方法

本发明公开了一种端侧Transformer动态权重加载优化方法，涉及端侧Transformer大模型权重加载优化技术领域；本方法接收端侧发起的Transformer大模型推理任务，提取任务属性参数匹配预存的业务场景路由表确定权重加载需求，采集各权重块对应的模型层调用频率、注意力头重要性、历史推理路径调用占比特征完成权重分簇，结合任务优先级与端侧资源状态预取对应权重，解压后映射至显存执行推理，任务完成后更新缓存淘汰策略调整权重驻留状态。本发明可减少无效权重加载，降低显存占用与存储带宽压力，缩短推理任务启动与场景切换耗时，适配不同配置端侧设备及多元业务场景。