CNIPA.AI
Back to Search
Dossier

一种基于LLMs大型语言模型的开放式阅读理解问题难度估计方法及系统

InventionActive
10Claims · 2 independent
§ Ⅰ

Dossier Overview

Inventor

何伟群; 杨志军; 巫思杏; 吴中海

IPC Classification

G06F 40/30 (2020.01)G06N 5/02 (2023.01)

本发明公开了一种基于LLMs大型语言模型的开放式阅读理解问题难度估计方法及系统,主要是以多能力异构的LLM作为预测试被试,教师代理依据自动化指标评分并经单调概率校准,将分数映射为近似正确概率;在IRT框架下由专家代理通过EM联合估计被试能力θ与题目难度β,支持EM极大似然求解,并按模型置信度对题目难度进行加权聚合及连续难度的K级离散化标注;进一步通过顺序一致性与加权一致性的自对弈验证检验“难度序—得分序”的单调关系,从而实现无人工的质量验收与回溯。本发明在统一理论尺度与可解释性的前提下,具备并行友好、近线性扩展的工程特性,并提升稳健性与泛化能力;所得难度标签近似正态分布,更有利于组卷与分层教学。

External Resources