基于视觉语言智能模块的数据处理方法和训练方法

本申请公开了一种基于视觉语言智能模块的数据处理方法和训练方法。其中，该方法包括：获取目标对象触发的目标任务指令，并将所述目标任务指令，当前会话上下文和目标系统的当前界面状态图进行组合，得到第一上下文；通过目标视觉语言智能模块对所述第一上下文进行处理，得到动作指令；在所述目标系统中执行所述动作指令，以得到所述目标任务指令对应的目标执行结果。本申请解决了相关技术中需要用户在图文指引和实际操作界面之间频繁切换来实现任务指令的执行，导致执行任务指令的效率比较低的技术问题。