Overeenstemming tussen beoordelaars (kappa)

Opdracht:

Statistiek

Overeenstemming en responsiviteit

Maakt op basis van ruwe gegevens in de spreadsheet een classificatietabel voor twee beoordelaars en berekent een statistiek voor de overeenstemming tussen beoordelaars (kappa) om de overeenstemming te evalueren tussen twee classificaties op ordinale of nominale schalen.

Hoe gegevens invoeren

Deze toets wordt uitgevoerd op de ruwe gegevens in de spreadsheet. Als je de gegevens al in een tabel hebt geordend, kan je de opdracht Overeenstemming tussen beoordelaars in het menu Toetsen gebruiken.

Gegevens

	A	B
	RAST	MAST
1	3	1
2	5	5
3	3	4
4	3	1
5	5	1
6	1	2
7	4	4
8	5	4
9	5	5
10	3	3
11	1	3
12	4	5

Vereiste invoer

In het dialoogvenster Overeenstemming tussen beoordelaars moeten twee discrete variabelen met de classificatiegegevens van de twee beoordelaars worden opgegeven. Classificatiegegevens kunnen numerieke of alfanumerieke (tekst)waarden zijn.

Overeenstemming tussen beoordelaars (kappa)

Gewogen kappa

Kappa houdt geen rekening met de mate van onenigheid tussen beoordelaars: alle onenigheid wordt gelijk behandeld als volledige onenigheid. Wanneer de categorieën geordend zijn, is het daarom beter om de gewogen kappa (Cohen 1968) te gebruiken en verschillende gewichten w_i toe te kennen aan proefpersonen voor wie de beoordelaars i categorieën van elkaar verschillen, zodat verschillende niveaus van overeenstemming kunnen bijdragen aan de waarde van kappa.

MedCalc biedt twee sets gewichten, lineair en kwadratisch genoemd. Als er k categorieën zijn, worden de gewichten in de lineaire set als volgt berekend:

Kappa - lineaire gewichten

$$ w_i = 1 - \frac{i}{k-1} $$

en in de kwadratische set:

Kappa - kwadratische gewichten

$$ w_i = 1 - \frac{i^2}{ (k-1)^2 } $$

Wanneer er 5 categorieën zijn, zijn de gewichten in de lineaire set respectievelijk 1; 0,75; 0,50; 0,25 en 0 bij een verschil van 0 (=volledige overeenstemming) of 1, 2, 3 en 4 categorieën. In de kwadratische set zijn de gewichten 1; 0,937; 0,750; 0,437 en 0.

Gebruik lineaire gewichten wanneer het verschil tussen de eerste en de tweede categorie even belangrijk is als een verschil tussen de tweede en de derde categorie, enz. Als het verschil tussen de eerste en de tweede categorie minder belangrijk is dan een verschil tussen de tweede en de derde categorie, enz., gebruik je kwadratische gewichten.

Resultaten

Overeenstemming tussen beoordelaars (kappa)

Beoordelaar A	RAST
Beoordelaar B	MAST

	RAST
MAST	1	2	3	4	5
1	86	3	14	0	2	105 (28.9%)
2	26	0	10	4	0	40 (11.0%)
3	20	2	22	4	1	49 (13.5%)
4	11	1	37	16	14	79 (21.8%)
5	3	0	15	24	48	90 (24.8%)
	146 (40.2%)	6 (1.7%)	98 (27.0%)	48 (13.2%)	65 (17.9%)	363

Kappa	0.31863
Standaardfout	0.030423
95%-CI	0.25900 tot 0.37826

MedCalc berekent de statistiek kappa voor de overeenstemming tussen beoordelaars volgens Cohen, 1960, en de gewogen kappa volgens Cohen, 1968. Rekenkundige details worden ook gegeven in Altman, 1991 (p. 406-407). De standaardfout en het 95%-betrouwbaarheidsinterval worden berekend volgens Fleiss et al., 2003.

De standaardfouten die MedCalc rapporteert, zijn de geschikte standaardfouten om de hypothese te toetsen dat de onderliggende waarde van de gewogen kappa gelijk is aan een vooraf bepaalde waarde verschillend van nul (Fleiss et al., 2003).

De waarde van K kan als volgt worden geïnterpreteerd (Altman, 1991):

Waarde van K	Sterkte van de overeenstemming
< 0,20	Slecht
0,21 - 0,40	Matig
0,41 - 0,60	Redelijk
0,61 - 0,80	Goed
0,81 - 1,00	Zeer goed

Literatuur

Altman DG (1991) Practical statistics for medical research. London: Chapman and Hall.
Cohen J (1960) A coefficient of agreement for nominal scales. Educational and Psychological Measurement 20:37-46.
Cohen J (1968) Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin 70:213-220.
Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3^rd ed. Hoboken: John Wiley & Sons.

Zie ook

Externe links

Cohen's kappa op Wikipedia (artikel alleen in het Engels beschikbaar).