一种用于复杂任务的多模态大模型优化方法、设备及介质

本说明书实施例公开了一种用于复杂任务的多模态大模型优化方法、设备及介质，涉及多模态大模型技术领域，方法包括：接收多模态输入数据，以对多模态输入数据进行模态特异性特征提取，生成每个模态的初始特征表示，其中，多模态输入数据包括图像数据、文本数据和音频数据；基于预先获取的任务类型和输入数据复杂度，生成动态参数调整策略，以根据动态参数调整策略，调整多模态大模型中多模态编码器的计算参数，以确定对应的优化模态处理子模块；通过优化模态处理子模块和初始特征表述，进行跨模态融合，生成融合后的多模态特征表示，以使用预先训练的多模态大模型对多模态特征表示进行语义解析与推理，生成任务输出结果。