第九节 信度、效度分析

第九节 信度、效度分析

一、信度分析

前言
对于信度效度分析大家应该都不陌生，即使不明白真实的含义，应该也听过这两个词汇。从认知广泛度也可以知道信度、和效度分析在统计学上的重要性。虽然信效度分析很重要，但是对于信效度分析的深层含义可能很多人都不知道。
首先，信效度分析不是一个分析方法，信度和效度是两个截然不同的分析方法。但是信度和效度通常会同时出现，因此通常情况都会说成信效度分析。
信度和效度分析是辅助性的统计学分析方法，它只有检验数据质量好坏的唯一用途。信效度分析是保证假设检验具有意义的重要前提。只有保证数据质量，假设检验的结果才有意义。
另外，信效度分析仅针对量表进行分析，或者可以划分为量表形式的问卷也可以进行信效度分析。
在信效度分析中，信度检验的是数据可靠性（内部一致性）和稳定性。而效度分析检验的是数据真实性。

信度分析
信度分析主要分析三种方法：科隆巴赫系数（Cronbach α系数）、折半信度以及重测信度。其中克隆巴赫系数和折半信度检验的是 可靠性或者内部一致性。而重测信度检验的是稳定性。一般在实际运用中最常用的是克隆巴赫系数。（举例说明信度的含义）
信度分析的核心原理：
三种信度检验方法都有自己对应的公式，计算公式涉及到的指标都各有不同。但是，决定信度高低的核心原理是题目之间的相关性。相关性的高低决定了信度的高低。

科隆巴赫系数（Cronbach α系数）：
公式：

其中Si2为题目的方差，Sx2为总体方差，k为题目数量。克隆巴赫系数的取值范围在0-1之间，系数值越高信度越高，一般认为信度低于0.6就需要重新设计量表或者重新收集数据。一般在论文研究中大部分信度都需要大于0.7以上。另外克隆巴赫系数的大小还会受到题目数量的影响，比如10个题目的时候信度为0.8，如果题目增加到20个，在相同环境下，信度可能就超过0.9了。

折半信度：
折半信度的原理是将原始数据划分为两半，然后计算两半样本数据之间的相关性。相关性的高低就代表了信度的高低。

其中rhh为两半样本分数之间的相关系数，rxx为整个测验的信度系数值。注意：如果量表题目数量少于10个题目的时候不适合使用折半信度。另外划分的两半样本数据要求尽可能的相似（应当具有相近的均值和标准差），如果两份样本不相似，可以采用下面的两个公式计算信度值。

弗朗那根公式：

卢伦公式：

其中Sa2和Sb2分别为两个样本数据的方差，Sx2为总体方差。Sd2为两部分样本得分之的方差。

重测信度：
重测信度是检验数据或者量表稳定性的分析方法，采用同一份问卷分别采集两次数据，然后分别计算得分，最终计算两个得分之间的相关系数即可。

其中x和 代表的是第一次测量的实际得分和实际得分的平均值。y和 代表第二次测量的实际得分和实际得分的平均值。

二、效度分析

效度分析是检验数据量表数据真实性的分析方法。这里的真实性应当理解为测量准确度。比如测量职业满意度，那么检验的目的就是检验维度包含的题目是否真的测量到了职业满意度。效度分析和信度分析不同，信度分析在spss里面有专用的分析方法，我们可以通过某一个具体的指标进行信度的判断。但是效度分析没有专用的分析方法，因此量表的效度检验通常都是采用探索性因子分析或者验证性因子分析进行检验的，从而效度的判断也就不能用某个单一的指标进行判断好坏了。而是要结合分析的整个流程进行判断。
我们采集的数据很容易通过信度检验，但是严格的效度检验一般很难通过，效度检验对于数据质量的要求非常高。因此，相对而言，在数据质量检验方面，效度分析的结果更加的可靠。
探索性因子分析和验证性因子分析效度检验之间有一定的逻辑关系，通常探索性因子分析是确定量表的结构，而验证性因子分析是对已经确定的结构进行验证的分析方法。在实际的运用中，两种分析方法均可以采用，并没有规定哪种量表用哪种检验方法的要求。只不过不同的问卷有不同的解释说明而已。

成熟量表的效度检验：
成熟量表可以不进行效度检验，前提是导师允许。如果成熟量表需要进行效度检验，我们可以采用两种方式进行检验。
1、探索性因子分析：用探索性因子分析检验成熟量表的效度采用的是“验证”思想，因为成熟量表的维度划分一般都是已经确定了的，因此如果采用探索性因子分析进行效度检验，那么就是去验证我们收集的数据是否能够准确的划分出量表已经确定的维度，如果可以就说明效度好，如果不行就说明效度不好，证明我们收集的数据质量不行。

2、验证性因子分析方法：同样，成熟量表的维度划分是确定的，也就是说量表的结构是已经确定了的，因此我们可以直接采用验证性因子分析方法进行效度检验。

自编或者改编量表的效度检验：
自编或者改编量表的效度检验分为两种情况。一种是在自己改编或者自编量表的时候就已经预设了维度的划分。因此，在效度检验上和成熟量表的检验方法是一致。可以采用探索性因子分析检验维度划分结果是否和预设的维度一致。也可以直接用验证性验证预设结构的效度。
第二种情况是自编了量表，但是并没有进行维度的划分，那么这个时候进行效度检验可以观察维度划分的结果是否具有可解释性（也就是维度归类的结果能不能用一个名称总结）。结合因子分析的相关指标综合判断量表的效度。这种方法一般是在量表开发的时候会使用。

因子分析原理及介绍：
因子分析是利用相关性原理，将原本很多的变量归纳为少数几个变量，然后用新的归纳出来的变量代替原始的变量去进行分析的分析方法。因子分析对于统计学的研究有着重大的作用，大大的提高了分析的效率和结果的可靠性。
在因子分析过程中，我们会将很多的变量纳入分析，那么因子分析就是利用变量之间的相关性，将相关性比较高的题目划分为一类，那么根据变量的多样性，最终我们就会得到好几个维度划分的结果。而利用探索性因子分析进行效度检验利用的就是这个思想。因为我们在信度分析里面知道，同一个维度下面的题目相关性肯定比较高，不同维度题目之间的相关性相对比较低。因此在因子分析中我们将所有题目进行分析的时候，按照因子分析的原理，同一个维度下面的题目就应该被划分在一起。所以，因子分析最终的维度划分结果就是我们判断效度是否达标的标准。

因子分析进行效度检验的前提条件：
因子分析利用变量之间相关性做为原理进行分析的方法。因此在进行因子分析之前变量之间具有相关性是最基本的前提条件。所以在进行因子分析之前需要先检验变量之间是否具有相关性，检验的方法有很多种这里我们就只介绍最常用、最标准的检验方法——KMO值和巴特利特球形检验（Bartlett Test of Sphericity）。

1、KMO值：
rij是变量之间的简单相关系数，pij是变量之间偏相关系数。KMO值得取值范围在0-1之间，0.5以下为非常不合适进行因子分析，0.6以下表示不太合适，0.7表示一般，0.8表示合适，0.9以上表示非常合适。
2、巴特利特球形检验：
巴特利特球形检验是需要进行假设检验的，所提出的原假设H0:相关系数矩阵为单位阵（除了对角线其他相关系数均=0），H1:相关系数矩阵不是单位阵。根据检验计算结果p是否小于0.05来判断接受原假设还是拒绝原假设。

因子分析效度检验流程：
在上述步骤确定了我们的变量是否适合进行因子分析以后。我们就可以利用因子分析进行效度检验了。一般按照特征值大于1的标准进行主成分提取（维度划分）。最终划分的结果可以通过观察“成分矩阵”或者“旋转后成分矩阵”观察维度划分的结果是不是我们想要的结果（和预设维度一致）。那么这里面就涉及到一个问题，我们在进行因子分析的时候利用的是变量之间的相关性，因此在进行同维度题目归类的时候，只会保留相同的部分，不相同的部分会被舍弃，这个叫做信息损失。因此，既然存在信息损失，那么就会影响我们维度划分结果的质量。所以，在最后观察维度划分之前还需要进行质量检验。通常分为共同度检验，累积方差、特征值以及因子载荷。
其中共同度检验的是每一个题目信息保留的程度，一般要求保留的信息不能低于0.4。累积方差和特征值代表代表我们所提取的主成分（公因子）能够代替原始变量合集的程度，一般要求大于0.6。因子载荷代表题目和对应公因子之间的相关程度，一般要求不能低于0.5（特殊情况0.4，0.3都可以）。

总结：
根据因子分析进行效度检验的讲解我们可以发现，效度检验其实是一个非常复杂的过程，并且对于数据质量的要求非常高。根据我们自身体会也会发现，一般自己收集的数据按照严格的检验标准来进行因子分析真的很难达到想要的结果。遇到这种情况一般正确的做法应该是根据因子分析的结果进行题目的调整反复的进行数据的收集，直到最终达到稳定的、想要的结果才是标准流程。但是除了真正进行科研活动外，单就写论文而言几乎没有人能做到这种程度。所以，如果遇到按照标准流程效度通不过检验的时候，有三种方案可以选择。
1、第一种：采用内容效度，也就是找专家让他们对问卷进行主观性的评价。
2、第二种：每个维度分开进行效度检验。
3、第三种：用KMO值和巴特利特球形检验代替效度检验。

第二种方法和第三种方法都有一定的风险，因为严格来说这个并不是效度检验的标准流程。但是，如果按照标准来效度真的很难通过。因此，一般情况下，采用第二种或者第三种审稿人也会认可。但是如果遇到要求很严格的审稿人，这就行不通了。因此，在效度检验中优先按照标准流程来，如果实在通过检验的，先请示导师，明确说明维度划分不出来，能不能用第二种或者第三种方法进行效度检验，虽然导师的建议不能代表答辩组或者审稿人的意见，但至少对自己学校或者自己专业的情况比较了解。因此，听取他的意见大概率不会出问题。如果必须要求按照严格流程进行检验，自己数据又不行的时候，又没有能力重复收集数据的情况下，可能就只能想想某些门道了。