基于多模态情感识别的绘本共读方法、系统、设备及介质

本发明涉及人工智能与人机交互技术领域，公开了基于多模态情感识别的绘本共读方法、系统、设备及介质，包括以下步骤：获取用户在绘本共读中的多模态时序数据；为用户建立并更新记录历史交互数据的纵向情感档案；基于所述数据和档案，进行个性化的多维内部状态评估，该评估包括计算表征理解困难的认知负荷指数、识别即时情感状态，以及分析情感状态与当前情节预期的上下文情感偏差；最后，基于该多维评估结果，确定并执行简化、引导或激励等动态交互策略。本发明通过构建多维状态模型并结合纵向档案实现深度个性化，能够更精准地判别用户状态，实现前瞻性、自适应的交互，提升了交互的精细度与有效性。