一种基于时延感知的多模态无线基础模型系统及协同推理方法

本发明公开了一种基于时延感知的多模态无线基础模型系统及协同推理方法，所述系统包括：多流输入与Token化模块用于接收多模态数据并将多模态数据转化为Token序列；多编码器网络用于从Token序列中提取自模态特征，并从自模态特征中生成跨模态特征；动态特征门控网络用于通过评分层计算得到各模态特征的权重；时延感知路由开关用于根据当前任务的物理层QoS时延指标执行双轨道分流控制；微观协同网络用于通过多模态智能体生成多源局部反馈数据，并利用思维链推理引擎调和跨模态认知冲突。本发明满足了无线深度学习网络中特征可解释性需求，解决了LLM推理延迟与物理层硬实时需求之间的本征冲突，提高了模型鲁棒性。