基于多模态融合的无人机飞行控制模型训练方法及系统

本发明涉及一种基于多模态融合的无人机飞行控制模型训练方法及系统，该方法获取包含当前历史图像、当前历史高度、任务指令文本的训练样本；将未来K步动作标注量化为四维物理离散动作token序列；对指令文本分词并定位各模态占位符；通过多模态网络进行特征编码，按占位符位置与文本token序列精确融合得到多模态输入嵌入；将其输入双分支网络，由语言模型分支输出未来多步动作分布，由深度预测分支输出辅助深度图；最后基于分布结果、深度图、标注及动作物理约束计算联合损失以更新模型。本发明实现了多模态信息的精确对齐，增强了无人机在复杂环境下的几何感知能力，有效降低了动作抖动与越界风险，提升了飞行安全性。