内容效度是评估问卷或测量工具是否能够准确反映所要测量的内容的重要指标。通过专家打分法量化评估内容效度,通常包括以下几个步骤:
1. 专家打分
首先,邀请相关领域的专家对问卷的各个题项进行打分。专家打分通常采用1到4分的评分标准: - 1分:较差 - 2分:一般 - 3分:较好 - 4分:良好
2. 计算I-CVI指标
I-CVI(Item-Content Validity Index)是衡量每个题项内容效度的指标。计算方法如下:
- 对于每个题项,统计专家打分为3分或4分的数量。
- 计算打分为3分或4分的专家占比,即I-CVI值。
判断标准: -
当专家数量≤5个时,I-CVI=1则通过,I-CVI<1则不通过。
- 当专家数量>5个时,I-CVI≥0.78则通过,I-CVI<0.78则不通过。
3. 计算校正内容效度(调整Kappa,K*值)
为了防止专家打分出现随机性,还可以计算校正内容效度(调整Kappa,K值)。具体步骤如下:
- 计算专家打分随机一致性概率Pc值:Pc = C(n, A) (0.5n),其中n为专家总数量,A为某测量项时专家打分为3/4的个数,C为数学上的组合计算。
- 计算调整Kappa值:K* = (I-CVI - Pc) / (1 - Pc)
判断标准: - K* < 0.4:差 - 0.4 ≤ K* < 0.6:一般 - 0.6 ≤ K* < 0.74:良好 - K* ≥ 0.74:优秀
4. SPSSAU软件操作
在SPSSAU(在线SPSS)中,可以直接将专家打分数据粘贴到【内容效度】分析模块中,系统会自动计算I-CVI和调整Kappa值,并给出判断结果。
5. 结果解读
根据I-CVI和调整Kappa值的计算结果,判断问卷的内容效度是否通过。如果I-CVI和调整Kappa值均达到通过标准,则说明问卷的内容效度良好。
参考文献
- 柯友枝, 孙建刚, 李博, 刘阳. 问卷是否有效——基于2010-2020年CSSCI收录体育期刊文献的系统分析[J]. 上海体育学院学报, 2023, 47(02): 37-47+103.
- 史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报:医学版, 37(2), 4.
通过以上步骤,可以科学、量化地评估问卷的内容效度,确保问卷的有效性和可靠性。
3913

被折叠的 条评论
为什么被折叠?



