图片

图片

在数据分析过程中，我们经常会遇到检验一致性的问题。例如，在内容分析编码过程中，为确保编码的信效度，研究需要两位编码人员对同一内容进行编码。虽然事先已经确定了编码标准，但受个人专业知识和理解等因素的影响，编码结果可能会存在一定差异，因此我们需要检验编码结果的一致性。

Cohen于1960年提出Kappa分析，Kappa系数用于测量数据的一致性水平。实践证明，它是一个描述一致性较为理想的指标。

Kappa一致性检验

Cohen's Kappa一致性检验用于测量数据一致性水平，共分为两类：简单Kappa系数和加权Kappa系数。

1. 简单Kappa系数（Simple Kappa Coefficient）：如果研究数据是绝对的定类数据，此时使用简单Kappa系数。

2. 加权Kappa系数（Weighted Kappa Coefficient）：如果数据为等级式定类数据（比如轻度，中度，重度；或者不同意，中立，同意），此时可使用加权（线性）Kappa系数。

此外，如果需要检验3项以上的一致性时，应该使用fleiss Kappa，下拉框选中该参数即可。

Kappa系数强度判断

图片

SPSS案例分析

一、问题与数据

根据1-7级分析编码框架对20位成员的发帖和回帖进行内容分析。由两位研究生对发帖和回帖进行编码，两位编码人员之间的可靠性系数使用 Cohen's kappa。

研究数据为绝对的定类数据，因此使用简单Kappa系数。部分编码数据如下：

图片

二、操作步骤

Step1：将数据整理后导入到SPSS中。

图片

图片

Step2：分析——描述性统计——交叉表，将编码员1选入行，编码员2选入列。

图片

Step3：点击【统计】，选择Kappa，点击继续后确定即可。

图片

三、结果分析

图片

检验结果发现，两位编码者之间的一致性系数达到 0.56，达到比较好的水平。