基于多模态的养老机器人交互界面设计方法

本发明公开了基于多模态的养老机器人交互界面设计方法，涉及智能养老领域，包括，采集用户面部图像、语音信号和触控操作信息并形成原始多模态数据流；对原始多模态数据流进行处理，提取出标准化的用户实时状态特征向量；基于用户实时状态特征向量与历史交互数据输入至支持向量回归模型，基于当前会话的用户实时状态特征向量，获得实时认知负荷等级；通过历史交互数据，分析用户触控操作精准度在时间窗口内的变化率，计算出能力变化加速度值和触控操作精准度趋势并进行融合，得出交互抽象化等级。本发明通过构建能力变化加速度敏感的联合决策矩阵，在检测到能力加速衰退时动态触发自适应交互策略，驱动界面引擎实时调整界面渲染与多模态引导。