一种基于奇数维展开解析张量环秩与低显存闭环计算的神经网络参数高效微调方法

本发明公开了一种基于奇数维展开解析张量环秩与低显存闭环计算的神经网络参数高效微调方法，属于神经网络参数压缩与高效微调技术领域。该方法获取神经网络模型中的稠密权重矩阵，将其重塑为偶数维张量，并通过合并相邻物理维度构建奇数维张量；对所述奇数维张量进行模式展开和秩估计，基于张量环展开秩与相邻张量环秩之间的乘积约束关系，通过奇数维代数方程组的配对消元解析得到非均匀张量环秩集合；进一步基于该秩集合进行张量环分解，得到核心张量并用于目标神经网络中的张量环线性层初始化；在下游任务微调过程中，采用拆分‑投影‑闭环算子执行前向传播，并在反向传播中复用低秩中间张量进行核心张量梯度更新。本发明能够减少对人工设定统一秩和随机初始化的依赖，并降低高维中间张量显式物化带来的峰值显存占用。