一种融合目标检测与大语言模型的课堂多模态行为分析方法

本发明属于人工智能技术领域，公开了一种融合目标检测与大语言模型的课堂多模态行为分析方法，包括：步骤一、感知层数据采集与处理：采用行为识别模型进行实时目标检测，生成带有时序标签的结构化数据；步骤二：认知与推理层分析，该步骤在认知与推理层集成大语言模型，对感知层输出的结构化数据进行处理；步骤三、调用大语言模型进行交互层响应，基于自然语言问答接口，系统调用大语言模型理解用户用自然语言向系统提出的问题，并从数据库和分析结果中提取信息，结合教育知识库检索结果，组织成自然语言回答；步骤四、通过可视化界面进行应用与展示层输出。本发明将实时感知能力与大语言模型的深度理解推理能力相结合，实现课堂行为智能检测与深度分析。