一种基于多模态融合知识蒸馏的行李材质识别方法及系统

本发明涉及一种基于多模态融合知识蒸馏的行李材质识别方法及系统，包括获取待检测目标表面的图像数据和点云数据；构建多模态教师模型获取图像纹理特征和点云几何特征；获得教师对象查询；输出材质类别分数和边界框位置坐标；构建轻量化学生模型，生成学生对象查询、材质类别预测和边界框位置预测；设计特征式蒸馏损失进行特征式蒸馏，构建总损失联合训练轻量化学生模型；将训练好的轻量化学生模型在机场行李转盘的行李检测场景中的实际运行；计算码垛分数并映射为码垛标签；结果封装并输出至下游规划策略模块，本发明有效链接了感知识别模块与下游规划策略模块的语义鸿沟，解决了传统单模态感知精度不足与多模态部署成本高昂的矛盾。