开放式情境判断测验的自动化评分

摘要: 受限于评分成本，开放式情境判断测验难以广泛使用。本研究以教师胜任力测评为例，探索了自动化评分的应用。针对教学中的典型问题场景开发了开放式情境判断测验，收集中小学教师作答文本，采用有监督学习策略分别从文档层面和句子层面应用深度神经网络识别作答类别，卷积神经网络(Convolutional Neural Network, CNN)效果理想，各题评分准确率为70%~88%，与人类评分一致性高，人机评分的相关系数r为0.95, 二次加权Kappa系数(Quadratic Weighted Kappa, QWK)为0.82。结果表明，机器评分可以获得稳定的效果，自动化评分研究能够助力于开放式情境判断测验的广泛应用。