多模态联合的环境感知方法、装置、设备及介质

本申请涉及人工智能技术领域，提供一种多模态联合的环境感知方法、装置、设备及介质，该方法包括：将目标区域的高光谱图像以及至少一种辅助遥感图像进行融合，得到多模态融合图像数据；将多模态融合图像数据输入至环境感知模型，输出目标区域的地物分类结果；其中，所述环境感知模型是通过最小化空间结构重建误差和光谱序列重建误差进行自监督预训练所得到的。本申请提供的多模态联合的环境感知方法，在预训练阶段同步引入空间块遮蔽重建与光谱通道遮蔽重建任务，通过对缺失区域的重建过程，引导网络学习具有约束的潜在表示，二者协同实现光谱连续性与空间结构性之间的深层耦合，最终显著提升了复杂地表环境下地物分类的整体精度。