基于多头潜在注意力模块的多卡混合并行方法及系统

本发明实施例提供了基于多头潜在注意力模块的多卡混合并行方法及系统。该方法先获取多卡硬件连接关系以构建硬件互联拓扑图，并同步采集单卡的性能指标，为后续并行策略适配硬件特性奠定基础；再解析多头潜在注意力模块的计算图，枚举至少一种并行策略；随后结合负载均衡算法与大模型计算任务，实现注意力头在多卡间的均衡分配；接着计算每种并行策略的总通信开销以确定最优的目标并行策略，确保策略兼顾计算效率与通信成本；最后通过调用分配的注意力头执行并汇总局部注意力输出结果，得到完整计算结果。上述流程通过张量并行和数据并行协同计算，同时借助负载均衡与最优策略选择减少硬件闲置与通信浪费，从而显著提升了硬件资源的利用率。