Methodevergelijking: vergelijking van meerdere methoden
| Opdracht: | Statistiek Methodevergelijking en -evaluatieVergelijking van meerdere methoden |
|---|
Vergelijking van meerdere methoden is een uitbreiding van de Bland-Altman-plot (Bland & Altman, 1986 en 1999) voor meer dan twee methoden. Voor elke methode worden de verschillen met een referentiemethode uitgezet tegen de waarden van deze referentiemethode (Krouwer, 2008).
De procedure maakt meerdere biasplots in één enkele weergave, met alle assen uitgelijnd om de vergelijking van de verschillende methoden te vergemakkelijken.
Als per proefpersoon duplo- of meervoudige metingen (met twee methoden) werden uitgevoerd, gebruik je beter de Bland-Altman-plot met meerdere metingen per proefpersoon.
Vereiste invoer
Variabelen
Selecteer eerst de variabelen voor de methoden die je wil vergelijken.
Methode
Selecteer een van de volgende 3 methoden.
- Parametrisch (conventioneel): zet de verschillen of verhoudingen tussen de metingen uit tegen hun gemiddelde. Veronderstelt een constante bias en homoscedasticiteit (Bland & Altman 1986).
- Niet-parametrisch: gebruikt rangen of kwantielen om de overeenstemming te beoordelen zonder normaliteit of een constante variantie te veronderstellen (Bland & Altman 1999).
- Op basis van regressie: modelleert de bias en de overeenstemmingsgrenzen als functies van de grootte van de meting. Nuttig wanneer er heteroscedasticiteit is (Bland & Altman 1999). Voor details over de methode op basis van regressie, zie Bland-Altman-plot (onderdeel regressie).
Opties
- De eerste methode is de referentiemethode: de metingen van de eerst geselecteerde methode zijn de referentiewaarden (informatief, deze optie ligt vast).
- Verschillen of verhoudingen plotten
- Verschillen plotten: de verschillen worden berekend als meting‑referentie (*), zodat een positief verschil een overschatting is en een negatief verschil een onderschatting.
- Verschillen als % plotten: met deze optie worden de verschillen uitgedrukt als percentages van de waarden op de as (d.w.z. evenredig met de grootte van de metingen). Deze optie is nuttig wanneer de variabiliteit van de verschillen toeneemt met de grootte van de meting.
- Verhoudingen plotten: wanneer deze optie is geselecteerd, worden de verhoudingen van de metingen geplot in plaats van de verschillen (zodat geen logaritmische transformatie nodig is). Ook deze optie is nuttig wanneer de variabiliteit van de verschillen toeneemt met de grootte van de meting. De verhoudingen worden berekend als meting/referentie (*), zodat een verhouding > 1 op een overschatting wijst en een verhouding < 1 op een onderschatting.
- Lijn van gelijkheid tekenen: nuttig om een systematisch verschil op te sporen.
- 95%-CI van het gemiddelde verschil (*): het 95%-betrouwbaarheidsinterval van het gemiddelde verschil illustreert de grootte van het systematische verschil. Als de lijn van gelijkheid niet binnen het interval ligt, is er een significant systematisch verschil.
- 95%-CI van de overeenstemmingsgrenzen: toont foutbalken die het 95%-betrouwbaarheidsinterval voorstellen voor zowel de bovenste als de onderste overeenstemmingsgrens.
- Regressielijn van de verschillen tekenen (*): deze regressielijn kan helpen om een proportioneel verschil op te sporen. Optioneel kan je ervoor kiezen het 95%-betrouwbaarheidsinterval van deze regressielijn weer te geven.
- Klik op als je subgroepen in de plots wil identificeren. Er verschijnt een nieuw dialoogvenster waarin je een categorische variabele kan selecteren. De grafiek gebruikt verschillende markeringen voor de verschillende categorieën van deze variabele. Merk op dat in deze plot geen legenda kan worden weergegeven. Om de subgroepen te identificeren, dubbelklik je op een van de waarnemingen om de identificatie ervan in de spreadsheet te zien.
(*) of verhoudingen, wanneer deze optie werd geselecteerd.
Resultaten voor de parametrische (conventionele) en de niet-parametrische methode
De grafieken en rapporten voor de parametrische en de niet-parametrische methode zijn vergelijkbaar. Bij de parametrische methode worden het gemiddelde verschil en de standaarddeviatie van de verschillen gebruikt om de overeenstemmingsgrenzen te definiëren.
Bij de parametrische benadering worden de overeenstemmingsgrenzen (LoA) berekend als het gemiddelde verschil ± 1,96 keer de standaarddeviatie van de verschillen. Bij de niet-parametrische benadering worden de LoA gedefinieerd door het 2,5e en het 97,5e percentiel van de verschillen. Beide methoden hebben tot doel een interval te definiëren waarbinnen 95% van de verschillen tussen de metingen naar verwachting ligt.
Voor details over de methode op basis van regressie, zie Bland-Altman-plot (onderdeel regressie).
Rapport
Het resultatenvenster toont de volgende gegevens.
Referentiemethode | Method1 |
|---|
Methodologie: Parametrisch (conventioneel) (Bland & Altman, 1986)
Systematische verschillen
Variabele | n | Verschillen (Variabele - Referentiemethode) | ||
|---|---|---|---|---|
Gemiddelde | SD | 95%-CI | ||
Method2 | 85 | -1.3082 | 8.2327 | -3.0840 tot 0.4675 |
Method3 | 85 | -2.1894 | 9.7012 | -4.2819 tot -0.09691 |
Method4 | 85 | 0.4729 | 7.1568 | -1.0707 tot 2.0166 |
Method5 | 85 | 6.6212 | 7.2190 | 5.0641 tot 8.1783 |
Overeenstemmingsgrenzen
Variabele | n | Overeenstemmingsgrenzen | |||
|---|---|---|---|---|---|
Onderste overeenstemmingsgrens | 95%-CI | Bovenste overeenstemmingsgrens | 95%-CI | ||
Method2 | 85 | -17.4444 | -20.4911 tot -14.3977 | 14.8280 | 11.7813 tot 17.8746 |
Method3 | 85 | -21.2038 | -24.7939 tot -17.6136 | 16.8249 | 13.2348 tot 20.4151 |
Method4 | 85 | -13.5544 | -16.2030 tot -10.9059 | 14.5003 | 11.8518 tot 17.1488 |
Method5 | 85 | -7.5281 | -10.1997 tot -4.8566 | 20.7705 | 18.0989 tot 23.4420 |
Regressie
Variabele | Intercept | 95%-CI | Helling | 95%-CI | P |
|---|---|---|---|---|---|
Method2 | 2.2897 | -5.2372 tot 9.8165 | -0.02799 | -0.08490 tot 0.02891 | 0.3307 |
Method3 | 7.2383 | -1.4269 tot 15.9036 | -0.07335 | -0.1389 tot -0.007837 | 0.0287 |
Method4 | -1.8633 | -8.4232 tot 4.6965 | 0.01818 | -0.03142 tot 0.06777 | 0.4681 |
Method5 | 5.8733 | -0.7626 tot 12.5091 | 0.005819 | -0.04435 tot 0.05599 | 0.8181 |
Absolute procentuele fout
Variabele | n | Mediaan | 95%-CI | 95e percentiel | 95%-CI |
|---|---|---|---|---|---|
Method2 | 85 | 3.97% | 2.92 tot 5.38 | 13.00% | 10.78 tot 17.66 |
Method3 | 85 | 5.41% | 4.31 tot 6.86 | 15.80% | 13.05 tot 18.81 |
Method4 | 85 | 3.72% | 2.96 tot 4.63 | 9.98% | 9.04 tot 15.73 |
Method5 | 85 | 6.71% | 5.98 tot 7.70 | 15.85% | 12.49 tot 19.01 |
  |
- Identificatie van de referentiewaarde: de variabele voor de referentiemethode.
- Systematische verschillen: n (steekproefgrootte), gemiddelde, SD en 95%-CI van de verschillen.
- Overeenstemmingsgrenzen: de onderste en bovenste overeenstemmingsgrens met 95%-CI.
- Parameters van de regressie van de verschillen op de referentiewaarde: intercept en helling met 95%-CI, en P-waarde voor de helling.
- Absolute procentuele fout: de absolute procentuele fout (APE) wordt berekend als 100 x ABS[(
y ‑ref)/ref], waarbijy de waarneming is en ref de referentiewaarde. MedCalc berekent de mediane APE (MdAPE) en het 95e percentiel van de absolute procentuele fout. Het 95e percentiel van de APE wordt als volgt geïnterpreteerd: het procentuele verschil tussen een meting en de referentiewaarde zal deze waarde met 95% zekerheid niet overschrijden. MedCalc rapporteert ook de 95%-betrouwbaarheidsintervallen voor beide statistieken, als de steekproefgrootte groot genoeg is.
Grafiek
De grafische weergave bestaat uit meerdere kaders met Bland-Altman-plots volgens de geselecteerde opties.
In tegenstelling tot andere MedCalc-grafieken biedt deze grafische weergave beperkte bewerkingsmogelijkheden:
- je kan geen referentielijnen toevoegen, geen kaders of pijlen tekenen en geen tekstvakken toevoegen.
- de schaal van de assen is in elk kader dezelfde.
- de titels zijn voor elk kader dezelfde. Om de titels van de verschillende kaders te laten variëren, kan je de volgende symbolische velden gebruiken:
- !#!: hiermee wordt het kadernummer in de titel ingevoegd
- !a!: hiermee wordt een letter A, B, … die overeenkomt met het kadernummer in de titel ingevoegd
- !var!: hiermee wordt de naam van de variabele in de titel ingevoegd
Betrouwbaarheidsintervallen
Optioneel kunnen betrouwbaarheidsintervallen worden weergegeven voor het gemiddelde verschil en voor de overeenstemmingsgrenzen. Deze betrouwbaarheidsintervallen kunnen worden weergegeven als foutbalken of als horizontale lijnen. Klik met de rechtermuisknop op de foutbalk om de opmaakopties in te stellen.
Literatuur
- Bland JM, Altman DG (1986) Statistical method for assessing agreement between two methods of clinical measurement. The Lancet i:307-310.
- Bland JM, Altman DG (1995) Comparing methods of measurement: why plotting difference against standard method is misleading. The Lancet 346:1085-1087.
- Bland JM, Altman DG (1999) Measuring agreement in method comparison studies. Statistical Methods in Medical Research 8:135-160.
- Hanneman SK (2008) Design, analysis, and interpretation of method-comparison studies. AACN Advanced Critical Care 19:223-234.
- Krouwer JS (2008) Why Bland-Altman plots should use X, not (Y+X)/2 when X is a reference method. Statistics in Medicine 27:778-780.