评分这信度是指多个评分者给同一批人的答卷评分的一致性程度。举个例子,如果只有两个评分者,则计算其评分的相关系数,即可得到评分者信度。它主要适用于测验是主观性试题时,不同评分者的评分会存在差异,这时评分者就凸显作用
一、数据准备
这里使用两个评委对10个运动员某项目评分,假两位评委对这十个运动员评分如下图所示。这里就用这两位评委对运动员评分进行一致性评价。
图1 数据展示
二、分析步骤
点击SPSS顶部菜单栏“分析”-“相关”-“双变量”。将评委A、B加载到变量文本框,并且相关系数勾选“皮尔逊”和“斯皮尔曼”。
图2 双变量相关性
双变量相关窗口左侧“选项”、“样式”、“拔靴法”、“置信区间”均保持默认,当然可以根据个人需要进行勾选。
图3 参数默认
三、结果分析
由于分析过程相关系数勾选了皮尔逊和斯皮尔曼,因此下面分别进行结果分析。皮尔逊相关系数为0.816,表格底部有解释,显著性大于0.01则说明相关性显著,这里为0.04说明相关性显著,评分者一致性很高。
图4 皮尔逊分析
斯皮尔曼同理分析,相关系数为0.890,显著性(双尾)为0.03,并且0.03大于0.01,说明相关性显著,评分者一致性很高。
表5 斯皮尔曼分析
以上就是利用IBM SPSS Statistics进行评分者信度分析的测试,大家可以根据需要自行试验。