検索に戻る
案件記録

一种基于大语言模型的机器人多模态融合自主决策方法及系统

発明有効
10請求項 · 2 独立
§ Ⅰ

案件概要

発明者

华亿明; 刘义春; 孙长银; 曹翔; 华舟瑶

IPC分類

G06F 18/25 (2023.01)B25J 11/00 (2006.01)G06F 18/10 (2023.01)G06F 18/213 (2023.01)G06F 18/24 (2023.01)G06F 18/22 (2023.01)G06T 7/80 (2017.01)G06V 10/764 (2022.01)G06V 10/82 (2022.01)G06N 3/045 (2023.01)G06N 3/0455 (2023.01)G06N 3/0464 (2023.01)G06N 3/092 (2023.01)G06N 5/04 (2023.01)

本发明涉及机器人决策技术领域,提出了一种基于大语言模型的机器人多模态融合自主决策方法及系统,包括机器人通过搭载的视觉传感器、触觉传感器、听觉传感器与激光雷达获取多模态环境信息,对原始传感器数据进行初步滤波与降噪处理,所有传感器数据以时间戳同步记录;将预处理后的多模态数据进行时空语义对齐,视觉目标坐标量化原始图像中目标的像素坐标需映射到机器人坐标系,通过动态贝叶斯网络对多模态信号进行不确定性评估,以熵或方差作为不确定性定量评估指标。本发明中,从数据融合源头提升信息质量,为后续决策提供精准、可靠的基础支撑,大幅减少因数据偏差导致的决策失误。

外部リソース