首页|科学研究| 学术前沿
黎坚教授课题组及其合作者在Organizational Research Methods上发文提出广义瑟斯顿展开模型以解决迫选量表计分问题
发布时间:2023-12-31 作者: 浏览量:【关闭

在对非认知类的心理构念(例如人格、态度、价值观)进行测量时,迫选(forced-choice, FC)量表相较于李科特量表有独特的优势。迫选量表既可以抗作假,也能够免受多种反应偏差的影响,因此在选拔情景和一般研究情景中都受到越来越多的关注。尽管目前已有多种IRT计分模型可用于迫选量表,但都存在一定的局限性。本研究首创了广义瑟斯顿展开模型(Generalized Thurstonian Unfolding Model, GTUM),既能够整合多维度配对偏好模型(MUPP)、广义等级展开排序模型(GGUM-RANK)及瑟斯顿项目反应理论模型(TIRT)的优势,又同时避免了上述模型的问题。

GTUM的构造逻辑:

GTUM采用瑟斯顿相对判断法则来描述作答者如何做决策。假设作答者j在句子i上存在一个潜在效用tij,即作答者觉得“这个句子描述的特征有多像我”(分数越高代表越像)。当作答者需要在句子i和k之间做出选择时,他们会选效用更高的那个句子。效用分数tij是由心理特质水平()决定的,二者的关系可以用公式来描述:

其中,是句子i的区分度参数,可以理解成因子分析中的因子载荷,该数值越高,代表该句子能更好地测量心理属性A。代表句子i的位置参数,该数值越极端,表示该句子描述的属性的水平也越极端。代表作答者j在心理属性A上面的真实分数。根据公式,当作答者在心理属性A上的真实分数和句子i的位置完全一致时,该句子的效用值达到最高;反之,如果作答者在心理属性A上的分数和句子i的位置差异越大(更高或更低),其效用值越小——这就是展开作答模型的核心。

当作答者需要在句子i和k(假设句子k测量心理属性B)之间做出选择时,可以用以下模型描述其选择句子i和k的概率。

可以看到,GTUM类似于具有特殊结构的二维2-PL Model。对于等级式迫选测验,可以采用类似于二维Graded Response Model的方式来处理。当一个句组有三个及以上的句子时,则可以将其拆分为多个两两比较。

研究方法和结果:

研究包括三个蒙特卡洛模拟研究以及两个实证研究,从不同角度验证GTUM模型在不同条件下的准确性和实用性。在模拟实验中,GTUM在大多数条件下表现良好。在实证研究中,我们利用不同的人格量表,对比了基于GTUM的人格分数和基于其他模型的人格分数的信度、聚合效度以及效标关联效度,结果发现基于GTUM的结果普遍高于或至少等同于基于MUPP和TIRT的结果。

总体来看,GTUM具备以下特性:(1) 遵循展开作答模型,(2) 能够处理现今所有类型的迫选量表数据,(3) 可以对二分或等级迫选量表进行计分。因此,GTUM是现有迫选测验计分模型中最灵活、最具有包容性的一个,对于拓宽迫选测验在各个领域的应用有重要作用。

为方便其他研究者使用,我们还开发了fcscoring这个R包,用户只需在R中键入devtools::install_github("Naidantu/fcscoring”)即可安装。

本研究已发表于应用心理学领域顶刊Organizational Research Methods(5 year impact factor: 11.4),第一作者为伊利诺伊大学厄巴纳-香槟分校(UIUC)劳动及人事关系学院和心理系里助理教授张博(北师大心理学部本科、硕士毕业生),共同作者还包括UIUC心理系助理教授张苏苏,计算机系教授Lawrence Angrave,南佛罗里达大学 (USF) 涂乃丹博士,堪萨斯州立大学 (KSU) 助理教授孙天君,以及普度大学 (Purdue) 教授Louis Tay等六位学者,北师大黎坚教授为该文的共同通讯作者。感谢所有参与本项目的被试对科学研究的支持和贡献。

黎坚教授课题组长期关注心理测验与评估的前沿技术与应用,致力于将社会心理学、认知心理学、教育心理学等领域的原理和方法应用于提升心理测评工具质量,近年来主要从事有关迫选测验,基于游戏的学习与评估以及不认真作答的研究工作。系列研究成果已经发表于Organizational Research Methods,Multivariate Behavioral Research,Assessment,Psychological Assessment等国际心理学权威期刊。



主要参考文献

Brown, A. (2016). Item response models for forced-choice questionnaires: A common framework.Psychometrika, 81(1), 135-160.

Li, M., Zhang, B., Li, L., Sun, T., & Brown, A. (In press). Mix-keying or desirability-matching in the construction of forced-choice measures? An empirical investigation and practical recommendations.Organizational Research Methods.

Zhang, B., Tu, N., Angrave, L.C., Zhang, S., Sun, T., Tay, L. & Li, J. (2023). The Generalized Thurstonian Unfolding Model (GTUM): Advancing the modeling of forced-choice data.Organizational Research Methods. Advanced online publication.

Zhang, B., Luo, J., & Li, J. (2023). Moving beyond Likert and traditional forced-choice scales: A comprehensive investigation of the graded forced-choice format.Multivariate Behavioral Research. Advanced online publication.

上一篇:伍新春、王文超课题组在Depression and Anxiety发文探究创伤后应激障碍和抑郁的共存模式

下一篇:珠海校区心理学科青年教师叶嫣妍博士以第一主编身份出版Routledge International Handbook of Visual-motor skills, Handwriting, and Spelling: Theory, Research, and Practice

Baidu
map