Межэкспертная согласованность (каппа)

Команда:

Статистика

Согласованность и чувствительность к изменениям

Строит по исходным данным электронной таблицы классификационную таблицу для двух наблюдателей и вычисляет статистику межэкспертной согласованности (каппа) для оценки согласованности двух классификаций по порядковой или номинальной шкале.

Порядок ввода данных

Этот критерий применяется к исходным данным электронной таблицы. Если данные уже сведены в таблицу, можно использовать команду Межэкспертная согласованность в меню «Критерии».

Данные

	A	B
	RAST	MAST
1	3	1
2	5	5
3	3	4
4	3	1
5	5	1
6	1	2
7	4	4
8	5	4
9	5	5
10	3	3
11	1	3
12	4	5

Необходимые входные данные

В диалоговом окне Межэкспертная согласованность нужно указать две дискретные переменные с классификационными данными двух наблюдателей. Классификационные данные могут быть числовыми или буквенно-цифровыми (строковыми) значениями.

Межэкспертная согласованность (каппа)

Взвешенная каппа

Каппа не учитывает степень расхождения между наблюдателями: любое расхождение рассматривается одинаково, как полное несогласие. Поэтому, если категории упорядочены, предпочтительнее использовать взвешенную каппу (Cohen 1968) и присваивать разные веса w_i объектам, оценки которых у экспертов различаются на i категорий, чтобы разные уровни согласованности по-разному влияли на значение каппы.

MedCalc предлагает два набора весов — линейные и квадратичные. В линейном наборе при k категориях веса вычисляются следующим образом:

Каппа — линейные веса

$$ w_i = 1 - \frac{i}{k-1} $$

а в квадратичном наборе:

Каппа — квадратичные веса

$$ w_i = 1 - \frac{i^2}{ (k-1)^2 } $$

При 5 категориях веса в линейном наборе равны 1; 0,75; 0,50; 0,25 и 0 при разнице соответственно 0 (= полная согласованность), 1, 2, 3 и 4 категории. В квадратичном наборе веса равны 1; 0,937; 0,750; 0,437 и 0.

Используйте линейные веса, если разница между первой и второй категориями так же важна, как разница между второй и третьей категориями, и т. д. Если разница между первой и второй категориями менее важна, чем разница между второй и третьей категориями, и т. д., используйте квадратичные веса.

Результаты

Межэкспертная согласованность (каппа)

Наблюдатель А	RAST
Наблюдатель В	MAST

	RAST
MAST	1	2	3	4	5
1	86	3	14	0	2	105 (28.9%)
2	26	0	10	4	0	40 (11.0%)
3	20	2	22	4	1	49 (13.5%)
4	11	1	37	16	14	79 (21.8%)
5	3	0	15	24	48	90 (24.8%)
	146 (40.2%)	6 (1.7%)	98 (27.0%)	48 (13.2%)	65 (17.9%)	363

Каппа	0.31863
Стандартная ошибка	0.030423
95% ДИ	от 0.25900 до 0.37826

MedCalc вычисляет статистику межэкспертной согласованности каппа по Cohen, 1960, а взвешенную каппу — по Cohen, 1968. Подробности вычислений приведены также в Altman, 1991 (с. 406–407). Стандартная ошибка и 95% доверительный интервал вычисляются по Fleiss et al., 2003.

Стандартные ошибки, которые выводит MedCalc, — это стандартные ошибки, подходящие для проверки гипотезы о том, что истинное значение взвешенной каппы равно заранее заданному значению, отличному от нуля (Fleiss et al., 2003).

Значение K можно интерпретировать следующим образом (Altman, 1991):

Значение K	Сила согласованности
< 0,20	Плохая
0,21–0,40	Удовлетворительная
0,41–0,60	Умеренная
0,61–0,80	Хорошая
0,81–1,00	Очень хорошая

Литература

Altman DG (1991) Practical statistics for medical research. London: Chapman and Hall.
Cohen J (1960) A coefficient of agreement for nominal scales. Educational and Psychological Measurement 20:37-46.
Cohen J (1968) Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin 70:213-220.
Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3^rd ed. Hoboken: John Wiley & Sons.

См. также

Внешние ссылки

Cohen's kappa в Википедии (на английском языке).