基于任务感知与硬件约束的大语言模型部署方法及系统

本发明涉及大语言模型领域，提供基于任务感知与硬件约束的大语言模型部署方法及系统，包括根据自然语言文本生成探测数据流，得到统一分析上下文；根据统一分析上下文构建二阶协方差矩阵，计算噪声容忍常数，根据噪声容忍常数计算基础杠杆得分，得到全局通道敏感度得分集合；进行数据块划分得到物理数据块，对物理数据块进行通道敏感度聚合，得到块级敏感度；根据硬件约束计算峰值显存占用，确定块级候选区域阈值，根据块级敏感度、峰值显存占用和块级候选区域阈值进行块精度划分，得到块级精度分配结果；使用全局精度掩码表和共享微缩放因子得到静态部署描述符，根据静态部署描述符部署目标模型，完成大语言模型部署。