一种基于序列拼接的大模型动态批量处理方法

本发明公开了一种基于序列拼接的大模型动态批量处理方法，包括：接收批次内多个用户的输入序列；将输入序列转换为对应的令牌序列；沿序列长度维度对所有令牌序列进行异构拼接，形成一个统一的联合令牌；拼接后的联合令牌通过归一层，对联合令牌执行标准化操作，统一数据分布；通过共享的线性变换层对联合令牌进行线性投影，生成联合查询向量、联合键向量和联合值向量，拆分为对应每个用户的子向量组；并执行多头注意力计算，得到该用户的注意力输出；对注意力输出进行线性变换，将变换后的结果输入共享的MLP进行非线性特征提取与增强，得到每个用户对应的最终输出。本发明有效解决了大模型在处理海量数据时面临的效率瓶颈与资源消耗问题。