元の名称記録: 深圳市智拓欣扬科技有限公司

本发明实施例涉及机器人技术领域，公开了一种生成医学影像报告的方法、机器人及存储介质，该方法包括：检测语音指令；若语音指令是撰写影像报告的指令，获取终端设备的视觉感知信息；根据视觉感知信息及语音指令控制机器人的手部动作，调出医学影像、病史信息及当前状态信息；获取医学影像对应的第一图像、病史信息及当前状态信息对应的第二图像，调用多模态影像报告大模型对第一图像及第二图像进行处理得到影像报告信息；根据视觉感知信息及影像报告信息控制机器人的手部动作在终端设备撰写影像报告信息。通过上述方式，本发明实施例不需要接口调试及兼容性测，并且机器人具身操作的方式提高影像报告的撰写效率。

本发明实施例涉及数字人技术领域，公开了一种动态混合专家模型训练方法、数字人交互方法及相关设备，训练方法包括：获取人际交互活动场景下的多模态样本数据；将多模态样本数据输入至多模态编码器中，获取统一样本向量；将统一样本向量输入至混合专家模型中，对混合专家模型进行训练，获取多模态预测信息；将多模态预测信息输入至多模态解码器中，得到第一人体预测信息及第一合成语音数据；基于第一人体预测信息、第一合成语音数据及损失函数对混合专家模型的模型参数进行调整，得到动态混合专家模型。通过上述方式，本发明实施例在确保交互准确的同时，能够降低数字人算力成本，流式化播放不卡顿。