多模态解题方法以及多模态解题系统
本说明书实施例提供多模态解题方法以及多模态解题系统,其中所述多模态解题方法包括:获取输入图像,其中,输入图像包括题目文本和题目图形;对题目文本进行分析,获得题目分析结果和目标图形元素;对题目图形中的目标图形元素进行矢量图形标记,获得矢量图形标记结果;基于矢量图形标记结果,对题目分析结果进行推理,获得答案文本。以矢量图形标记的方式提高对图像细节的关注,提高图像感知精度,并且,矢量图形标记结果可以作为处理过程中的中间表示,增强解题过程的可解释性,验证方法对图像细节的理解,基于矢量图形标记结果对题目分析结果进行推理,可以避免直接感知可能的错误,提高解题准确性。