基于多模态大模型的异常预警方法、系统、介质和设备

本发明提供了一种基于多模态大模型的异常预警方法、系统、介质和设备，涉及大模型部署技术领域，其方法包括：采集国土监控场景图像和对应文本描述的指令数据集，作为训练样本；选择基础多模态大模型，基于训练样本，并对所选择的基础多模态大模型进行强化学习训练；将强化学习训练后的多模态大模型进行云边协同部署；利用云边协同部署后的多模态大模型，进行异常检测，根据检测结果，进行异常预警。本发明采用云边协同部署方案，充分利用异构计算框架，并使用不同的型号的算力资源，降低云端算力卡的单一依赖；充分利用边缘节点异构算力，解决边缘计算资源和存储资源利用不足的问题；并且视觉编码可以重复利用，进一步减少云端算力资源的消耗。