一种支持多模态理解与跨平台执行的客服方法及系统

本申请公开了一种支持多模态理解与跨平台执行的客服方法，方法包括获取用户输入的多模态信息和目标平台的界面视觉信息；基于用户输入的多模态信息，通过预设意图解析模型，生成结构化意图描述；基于结构化意图描述，通过任务分解，生成执行动作序列；基于目标平台的界面视觉信息，通过计算机视觉模型识别界面元素，并将界面元素转换为与平台无关的语义化操作对象；基于执行动作序列，通过语义化操作对象，生成针对目标平台的操作指令。本申请构建了一个从多模态意图理解到跨平台自动执行的完整技术闭环，可大幅提升AI客服的使用场景。