ROC-curveanalyse

Opdracht:	Statistiek ROC-curves ROC-curveanalyse

ROC-curveanalyse (Receiver Operating Characteristic) is een methode om de prestaties van een binaire classificator of diagnostische test te evalueren over alle mogelijke beslissingsdrempels. Ze wordt veel gebruikt in de geneeskunde, maar ook in machine learning, signaaldetectie en in elke situatie waarin je onderscheid moet maken tussen twee klassen (ziekte versus geen ziekte, spam versus geen spam, enz.). De ROC-curve is een essentieel instrument voor de evaluatie van diagnostische tests.

Wat is een ROC-curve?

Een ROC-curve is een grafiek van de fractie ware positieven (sensitiviteit) in functie van de fractie fout-positieven (100-specificiteit) voor verschillende afkapwaarden van een parameter. Elk punt op de ROC-curve stelt een combinatie van sensitiviteit en specificiteit voor die overeenkomt met een bepaalde beslissingsdrempel. De oppervlakte onder de ROC-curve (AUC) is een maat voor hoe goed een parameter onderscheid kan maken tussen twee diagnostische groepen (ziek/gezond).

Samenvatting van de theorie

De diagnostische prestatie van een test, of de nauwkeurigheid waarmee een test zieke van gezonde gevallen kan onderscheiden, wordt geëvalueerd met Receiver Operating Characteristic (ROC) curve-analyse (Metz, 1978; Zweig & Campbell, 1993). ROC-curves kunnen ook worden gebruikt om de diagnostische prestaties van twee of meer laboratorium- of diagnostische tests te vergelijken (Griner et al., 1981).

Wanneer je de resultaten van een bepaalde test bekijkt in twee populaties, waarvan de ene populatie de ziekte heeft en de andere niet, zul je zelden een perfecte scheiding tussen de twee groepen waarnemen. De verdeling van de testresultaten zal namelijk overlappen, zoals in de volgende figuur wordt getoond.

Voor elk mogelijk afkappunt of elke criteriumwaarde die je kiest om onderscheid te maken tussen de twee populaties, zullen sommige gevallen met de ziekte correct als positief worden geclassificeerd (TP = fractie ware positieven), terwijl andere gevallen met de ziekte als negatief worden geclassificeerd (FN = fractie fout-negatieven). Anderzijds zullen sommige gevallen zonder de ziekte correct als negatief worden geclassificeerd (TN = fractie ware negatieven), terwijl andere gevallen zonder de ziekte als positief worden geclassificeerd (FP = fractie fout-positieven).

Schematisch overzicht van testuitkomsten

De verschillende fracties (TP, FP, TN, FN) worden weergegeven in de volgende tabel.

De volgende statistieken kunnen worden gedefinieerd:

• Sensitiviteit: de kans dat een testresultaat positief is wanneer de ziekte aanwezig is (fractie ware positieven, uitgedrukt als percentage).
  $$ Sensitiviteit = \frac { a } { a + b} $$
• Specificiteit: de kans dat een testresultaat negatief is wanneer de ziekte niet aanwezig is (fractie ware negatieven, uitgedrukt als percentage).
  $$ Specificiteit = \frac { d } { c + d} $$
• Positieve likelihood ratio: de verhouding tussen de kans op een positief testresultaat wanneer de ziekte aanwezig is en de kans op een positief testresultaat wanneer de ziekte afwezig is, ofwel
  $$ +LR = \frac { fractie\ ware\ positieven } { fractie\ fout\ positieven } = \frac { Sensitiviteit} { 1 - Specificiteit} $$
• Negatieve likelihood ratio: de verhouding tussen de kans op een negatief testresultaat wanneer de ziekte aanwezig is en de kans op een negatief testresultaat wanneer de ziekte afwezig is, ofwel
  $$ -LR = \frac { fractie\ fout\ negatieven } { fractie\ ware\ negatieven } = \frac { 1 - Sensitiviteit} { Specificiteit} $$
• Positief voorspellende waarde: de kans dat de ziekte aanwezig is wanneer de test positief is (uitgedrukt als percentage).
  $$ PPV = \frac { a } { a + c} $$
• Negatief voorspellende waarde: de kans dat de ziekte niet aanwezig is wanneer de test negatief is (uitgedrukt als percentage).
  $$ NPV = \frac { d } { b + d} $$

Sensitiviteit en specificiteit versus criteriumwaarde

Wanneer je een hogere criteriumwaarde kiest, zal de fractie fout-positieven afnemen bij een toegenomen specificiteit, maar zullen anderzijds de fractie ware positieven en de sensitiviteit afnemen:

Wanneer je een lagere drempelwaarde kiest, zullen de fractie ware positieven en de sensitiviteit toenemen. Anderzijds zal de fractie fout-positieven ook toenemen, waardoor de fractie ware negatieven en de specificiteit zullen afnemen.

De ROC-curve

In een Receiver Operating Characteristic (ROC) curve wordt de fractie ware positieven (sensitiviteit) uitgezet in functie van de fractie fout-positieven (100-specificiteit) voor verschillende afkapwaarden. Elk punt op de ROC-curve stelt een combinatie van sensitiviteit en specificiteit voor die overeenkomt met een bepaalde beslissingsdrempel. Een test met een perfecte discriminatie (geen overlap tussen de twee verdelingen) heeft een ROC-curve die door de linkerbovenhoek loopt (100% sensitiviteit, 100% specificiteit). Hoe dichter de ROC-curve dus bij de linkerbovenhoek ligt, hoe hoger de algehele nauwkeurigheid van de test (Zweig & Campbell, 1993).

Hoe gegevens invoeren voor ROC-curveanalyse

Om in MedCalc een ROC-curveanalyse uit te voeren, heb je een meting van belang nodig (= de parameter die je wilt bestuderen) en een onafhankelijke diagnose die je proefpersonen indeelt in twee afzonderlijke groepen: een groep met en een groep zonder de ziekte. Deze diagnose moet onafhankelijk zijn van de meting van belang.

Maak bijvoorbeeld in de spreadsheet een kolom DIAGNOSIS en een kolom voor de variabele van belang, bijv. TEST1. Voer voor elke proefpersoon een code voor de diagnose in: 1 voor de zieke gevallen en 0 voor de niet-zieke of normale gevallen. Voer in de kolom TEST1 de meting van belang in (dit kunnen metingen, scores enz. zijn - als de gegevens categorisch zijn, codeer ze dan met numerieke waarden).

Gegevens

A1

1

	A	B	C
	DIAGNOSIS	TEST1
1	1	112,7
2	1	104,0
3	1	126,7
4	1	123,3
5	1	120,5
6	1	130,3
7	1	129,6
8	0	97,9
9	0	94,9
10	1	140,2
11	1	119,7
12	0	98,6
13	0	77,3

Vereiste invoer

Vul het dialoogvenster voor ROC-curveanalyse als volgt in:

Gegevens

• Variabele: selecteer de variabele van belang. Deze variabele bevat de resultaten van de diagnostische test waarvoor je de testkarakteristieken wilt verkrijgen.
• Classificatievariabele: selecteer of voer een dichotome variabele in die de diagnose aangeeft (0=negatief, 1=positief).
  Als je gegevens anders zijn gecodeerd, kan je de tool Status definiëren gebruiken om je gegevens te hercoderen.
• Filter: (optioneel) een filter om alleen een geselecteerde subgroep van gevallen op te nemen (bijv. AGE>21, SEX="Male").

Methodologie

• DeLong et al.: gebruik de methode van DeLong et al. (1988) voor de berekening van de standaardfout van de oppervlakte onder de curve (aanbevolen).
• Hanley & McNeil: gebruik de methode van Hanley & McNeil (1982) voor de berekening van de standaardfout van de oppervlakte onder de curve.
• Exact binomiaal betrouwbaarheidsinterval voor de AUC: bereken een exact binomiaal betrouwbaarheidsinterval voor de oppervlakte onder de curve (aanbevolen). Als deze optie niet is geselecteerd, wordt het betrouwbaarheidsinterval berekend als AUC ± 1,96 maal de standaardfout.

Ziekteprevalentie

Terwijl sensitiviteit en specificiteit, en dus ook de ROC-curve, en de positieve en negatieve likelihood ratio onafhankelijk zijn van de ziekteprevalentie, zijn de positief en negatief voorspellende waarde sterk afhankelijk van de ziekteprevalentie of de voorafkans op de ziekte. Wanneer de ziekteprevalentie onbekend is, kan het programma daarom geen positief en negatief voorspellende waarde berekenen.

Klinisch gezien is de ziekteprevalentie hetzelfde als de kans dat de ziekte aanwezig is vóór het uitvoeren van de test (voorafkans op de ziekte).

• Onbekend: selecteer deze optie wanneer de ziekteprevalentie onbekend is, of niet relevant is voor de huidige statistische analyse.
• De verhouding van het aantal gevallen in de positieve en negatieve groep weerspiegelt de prevalentie van de ziekte: als de steekproefgroottes in de positieve en de negatieve groep de werkelijke prevalentie van de ziekte in de populatie weerspiegelen, kan je dit aangeven door deze optie te selecteren.
• Andere waarde (%): je kan ook een waarde voor de ziekteprevalentie invoeren, uitgedrukt als een percentage.

Opties

• Lijst van criteriumwaarden met testkarakteristieken: optie om een lijst te maken van criteriumwaarden die overeenkomen met de coördinaten van de ROC-curve, met bijbehorende sensitiviteit, specificiteit, likelihood ratio's en voorspellende waarden (indien de ziekteprevalentie bekend is).
  • Alle waargenomen criteriumwaarden opnemen: wanneer je deze optie selecteert, geeft het programma de sensitiviteit en specificiteit voor alle mogelijke drempelwaarden weer. Als deze optie niet is geselecteerd, geeft het programma alleen de belangrijkste punten van de ROC-curve weer: bij gelijke sensitiviteit/specificiteit geeft het de drempelwaarden (criteriumwaarden) met de hoogste specificiteit/sensitiviteit.
• 95%-betrouwbaarheidsinterval voor sensitiviteit/specificiteit, likelihood ratio en voorspellende waarden: selecteer de betrouwbaarheidsintervallen die je nodig hebt.
• Optimale criteriumwaarde berekenen rekening houdend met kosten: optie om de optimale criteriumwaarde te berekenen rekening houdend met de ziekteprevalentie en de kosten van fout- en waarpositieve en -negatieve beslissingen (Zweig & Campbell, 1993). Deze optie is alleen beschikbaar als de ziekteprevalentie bekend is (zie hierboven).
  • FPc: de kosten van een fout-positieve beslissing.
  • FNc: de kosten van een fout-negatieve beslissing.
  • TPc: de kosten van een ware-positieve beslissing.
  • TNc: de kosten van een ware-negatieve beslissing.
  Deze gegevens worden gebruikt om een parameter S als volgt te berekenen:
  $$ S = \left ( \frac {FP_c - TN_c} {FN_c - TP_c} \right ) \times \left ( \frac {1-P} {P} \right ) $$
  waarbij P de prevalentie in de doelpopulatie aangeeft (Greiner et al., 2000). Het punt op de ROC-curve waar een lijn met deze richtingscoëfficiënt S de curve raakt, is het optimale werkpunt, rekening houdend met de prevalentie en de kosten van de verschillende beslissingen.

  Kosten kunnen financiële kosten of gezondheidskosten zijn, maar alle 4 kostenfactoren moeten op eenzelfde schaal worden uitgedrukt. Baten kunnen worden uitgedrukt als negatieve kosten. Stel dat een fout-negatieve (FN) beslissing als tweemaal zo kostbaar wordt beschouwd als een fout-positieve (FP) beslissing, en dat er geen aannames worden gedaan over de kosten van ware-positieve en ware-negatieve beslissingen. Dan voer je voor FNc 2 in, voor FPc 1, en voor zowel TPc als TNc 0.

  Omdat de richtingscoëfficiënt S een positief getal moet zijn:

  • FPc mag niet gelijk zijn aan TNc
  • FNc mag niet gelijk zijn aan TPc
  • Wanneer TNc groter is dan FPc, moet TPc groter zijn dan FNc
  • Wanneer TNc kleiner is dan FPc, moet TPc kleiner zijn dan FNc

  De parameter S is "kostenneutraal" wanneer (FPc-TNc)/(FNc-TPc) gelijk is aan 1, dat wil zeggen wanneer FPc-TNc gelijk is aan FNc-TPc. In dat geval hangen S en de "optimale criteriumwaarde" alleen af van de ziekteprevalentie.

• Geavanceerd: klik op deze knop voor enkele geavanceerde opties:
  Deze opties vereisen bootstrapping en zijn rekenintensief en tijdrovend.
  • Schatting van sensitiviteit en specificiteit bij een vaste specificiteit en sensitiviteit: stel een tabel samen met een schatting van de sensitiviteit en specificiteit, met een met bootstrapping berekend BC_a 95%-betrouwbaarheidsinterval (Efron, 1987; Efron & Tibshirani, 1993), voor een vaste en vooraf bepaalde specificiteit en sensitiviteit van 80%, 90%, 95% en 97,5% (Zhou et al., 2002).
  • Bootstrap-betrouwbaarheidsinterval voor de Youden-index: bereken een met bootstrapping berekend BC_a 95%-betrouwbaarheidsinterval voor de Youden-index en de bijbehorende criteriumwaarde.
  • Bootstrap-herhalingen: voer het aantal bootstrap-herhalingen in. 1000 herhalingen is een aantal dat vaak in de literatuur wordt gebruikt. Hogere aantallen verhogen de nauwkeurigheid, maar verlengen ook de verwerkingstijd.
  • Seed voor het random-getal: dit is de seed voor de generator van willekeurige getallen. Voer 0 in voor een willekeurige seed; dit kan resulteren in verschillende betrouwbaarheidsintervallen wanneer de procedure wordt herhaald. Elke andere waarde levert een herhaalbare "willekeurige" reeks op, wat resulteert in herhaalbare waarden voor de betrouwbaarheidsintervallen.

ROC-grafiek

• Selecteer ROC-curvevenster weergeven om de grafiek in een apart venster te verkrijgen.
  Opties:
  • punten markeren die overeenkomen met criteriumwaarden.
  • 95%-betrouwbaarheidsgrenzen voor de ROC-curve weergeven (Hilgers, 1991).

Resultaten en interpretatie van ROC-curves

Steekproefgrootte

Eerst geeft het programma het aantal waarnemingen in de twee groepen weer. Wat de steekproefgrootte betreft, is gesuggereerd dat zinvolle kwalitatieve conclusies kunnen worden getrokken uit ROC-experimenten die zijn uitgevoerd met in totaal ongeveer 100 waarnemingen (Metz, 1978).

Oppervlakte onder de ROC-curve

MedCalc rapporteert de oppervlakte onder de ROC-curve met standaardfout en 95%-betrouwbaarheidsinterval.

De oppervlakte onder de ROC-curve (AUC) kan als volgt worden geïnterpreteerd (Zhou, Obuchowski & McClish, 2002):

• de gemiddelde waarde van de sensitiviteit voor alle mogelijke waarden van de specificiteit;
• de gemiddelde waarde van de specificiteit voor alle mogelijke waarden van de sensitiviteit;
• de kans dat een willekeurig gekozen individu uit de positieve groep een testresultaat heeft dat op een grotere verdenking wijst dan dat van een willekeurig gekozen individu uit de negatieve groep.

Wanneer de onderzochte variabele geen onderscheid kan maken tussen de twee groepen, dat wil zeggen wanneer er geen verschil is tussen de twee verdelingen, is de oppervlakte gelijk aan 0,5 (de ROC-curve valt dan samen met de diagonaal). Wanneer er een perfecte scheiding is tussen de waarden van de twee groepen, dat wil zeggen wanneer de verdelingen niet overlappen, is de oppervlakte onder de ROC-curve gelijk aan 1 (de ROC-curve bereikt dan de linkerbovenhoek van de grafiek).

Het 95%-betrouwbaarheidsinterval is het interval waarbinnen de werkelijke (populatie-)oppervlakte onder de ROC-curve zich met 95% betrouwbaarheid bevindt.

Het significantieniveau of de P-waarde is de kans om de waargenomen oppervlakte onder de ROC-curve in de steekproef te vinden wanneer de werkelijke (populatie-)oppervlakte onder de ROC-curve in werkelijkheid 0,5 bedraagt (nulhypothese: oppervlakte = 0,5). Als P klein is (P<0,05), kan worden geconcludeerd dat de oppervlakte onder de ROC-curve significant verschilt van 0,5 en dat er dus bewijs is dat de laboratoriumtest in staat is om onderscheid te maken tussen de twee groepen (Hanley & McNeil, 1982; Zweig & Campbell, 1993).

Youden-index

De Youden-index wordt gerapporteerd met het 95%-betrouwbaarheidsinterval en de bijbehorende criteriumwaarde.

De Youden-index J (Youden, 1950) wordt gedefinieerd als:

waarbij c alle mogelijke criteriumwaarden doorloopt.

Grafisch is J de maximale verticale afstand tussen de ROC-curve en de diagonaal.

De criteriumwaarde die overeenkomt met de Youden-index J is alleen de optimale criteriumwaarde wanneer de ziekteprevalentie 50% bedraagt, wanneer sensitiviteit en specificiteit even zwaar wegen, en wanneer de kosten van de verschillende beslissingen buiten beschouwing worden gelaten.

Wanneer de bijbehorende optie onder Geavanceerd is geselecteerd, berekent MedCalc met bootstrapping BC_a 95%-betrouwbaarheidsintervallen (Efron, 1987; Efron & Tibshirani, 1993) voor zowel de Youden-index als de bijbehorende criteriumwaarde.

Criteriumwaarden

MedCalc rapporteert drempel- of criteriumwaarden niet zomaar, maar rapporteert de criteriumwaarden met een vergelijkingsteken, > of ≤, afhankelijk van of hogere dan wel lagere waarden op de ziekte wijzen.

Zie de toelichting bij Criteriumwaarden.

Optimaal criterium

Dit paneel wordt alleen weergegeven wanneer de ziekteprevalentie en de kostenparameters bekend zijn.

De optimale criteriumwaarde houdt niet alleen rekening met de sensitiviteit en specificiteit, maar ook met de ziekteprevalentie en de kosten van de verschillende beslissingen. Wanneer deze gegevens bekend zijn, berekent MedCalc het optimale criterium en de bijbehorende sensitiviteit en specificiteit. En wanneer de bijbehorende optie onder Geavanceerd is geselecteerd, berekent MedCalc met bootstrapping BC_a 95%-betrouwbaarheidsintervallen (Efron, 1987; Efron & Tibshirani, 1993) voor deze parameters.

Wanneer een test wordt gebruikt voor screening of om een diagnostische mogelijkheid uit te sluiten, kan een afkapwaarde met een hogere sensitiviteit worden gekozen; en wanneer een test wordt gebruikt om een ziekte te bevestigen, kan een hogere specificiteit vereist zijn.

Samenvattende tabel

Dit paneel wordt alleen weergegeven wanneer de bijbehorende optie onder Geavanceerd is geselecteerd.

De samenvattende tabel geeft de geschatte specificiteit weer voor vaste, vooraf bepaalde sensitiviteiten van 80, 90, 95 en 97,5%, evenals de geschatte sensitiviteit voor vaste, vooraf bepaalde specificiteiten (Zhou et al., 2002), met de bijbehorende criteriumwaarden.

De betrouwbaarheidsintervallen zijn met bootstrapping berekende BC_a 95%-betrouwbaarheidsintervallen (Efron, 1987; Efron & Tibshirani, 1993).

Criteriumwaarden en coördinaten van de ROC-curve

Dit onderdeel van het resultatenvenster geeft de verschillende filters of afkapwaarden weer met de bijbehorende sensitiviteit en specificiteit van de test, en de positieve (+LR) en negatieve likelihood ratio (-LR). Wanneer de ziekteprevalentie bekend is, rapporteert het programma ook de positief voorspellende waarde (+PV) en de negatief voorspellende waarde (-PV).

Wanneer je de optie Alle waargenomen criteriumwaarden opnemen niet hebt geselecteerd, geeft het programma alleen de belangrijkste punten van de ROC-curve weer: bij gelijke sensitiviteit (resp. specificiteit) wordt de drempelwaarde (criteriumwaarde) met de hoogste specificiteit (resp. sensitiviteit) gegeven. Wanneer je de optie Alle waargenomen criteriumwaarden opnemen wel selecteert, geeft het programma de sensitiviteit en specificiteit voor alle mogelijke drempelwaarden weer.

• Sensitiviteit (met optioneel 95%-betrouwbaarheidsinterval): de kans dat een testresultaat positief is wanneer de ziekte aanwezig is (fractie ware positieven).
• Specificiteit (met optioneel 95%-betrouwbaarheidsinterval): de kans dat een testresultaat negatief is wanneer de ziekte niet aanwezig is (fractie ware negatieven).
• Positieve likelihood ratio (met optioneel 95%-betrouwbaarheidsinterval): de verhouding tussen de kans op een positief testresultaat wanneer de ziekte aanwezig is en de kans op een positief testresultaat wanneer de ziekte afwezig is.
• Negatieve likelihood ratio (met optioneel 95%-betrouwbaarheidsinterval): de verhouding tussen de kans op een negatief testresultaat wanneer de ziekte aanwezig is en de kans op een negatief testresultaat wanneer de ziekte afwezig is.
• Positief voorspellende waarde (met optioneel 95%-betrouwbaarheidsinterval): de kans dat de ziekte aanwezig is wanneer de test positief is.
• Negatief voorspellende waarde (met optioneel 95%-betrouwbaarheidsinterval): de kans dat de ziekte niet aanwezig is wanneer de test negatief is.
• Kosten^*: de gemiddelde kosten die voortvloeien uit het gebruik van de diagnostische test op dat beslissingsniveau. Merk op dat de hier gerapporteerde kosten de "overheadkosten" uitsluiten, d.w.z. de kosten van het uitvoeren van de test, die op alle beslissingsniveaus constant zijn.
  ^*Deze kolom wordt alleen weergegeven wanneer de ziekteprevalentie en de kostenparameters bekend zijn.

Sensitiviteit, specificiteit, positief en negatief voorspellende waarde, en ziekteprevalentie worden uitgedrukt als percentages.

De betrouwbaarheidsintervallen voor sensitiviteit en specificiteit zijn "exacte" Clopper-Pearson-betrouwbaarheidsintervallen.

De betrouwbaarheidsintervallen voor de likelihood ratio's worden berekend met de "logmethode" zoals beschreven op pagina 109 van Altman et al. 2000.

De betrouwbaarheidsintervallen voor de voorspellende waarden zijn de standaard logit-betrouwbaarheidsintervallen volgens Mercaldo et al. 2007.

ROC-curve

De ROC-curve wordt in een tweede venster weergegeven wanneer je de bijbehorende optie in het dialoogvenster hebt geselecteerd.

In een ROC-curve wordt de fractie ware positieven (sensitiviteit) uitgezet in functie van de fractie fout-positieven (100-specificiteit) voor verschillende afkapwaarden. Elk punt op de ROC-curve stelt een combinatie van sensitiviteit en specificiteit voor die overeenkomt met een bepaalde beslissingsdrempel. Een test met een perfecte discriminatie (geen overlap tussen de twee verdelingen) heeft een ROC-curve die door de linkerbovenhoek loopt (100% sensitiviteit, 100% specificiteit). Hoe dichter de ROC-curve dus bij de linkerbovenhoek ligt, hoe hoger de algehele nauwkeurigheid van de test (Zweig & Campbell, 1993).

Wanneer je op een specifiek punt van de ROC-curve klikt, wordt het bijbehorende afkappunt met sensitiviteit en specificiteit weergegeven.

Dit is de ROC-curve met de optie 95%-betrouwbaarheidsgrenzen opnemen:

Presentatie van de resultaten

De prevalentie van een ziekte kan verschillen tussen klinische settings. Zo zal de voorafkans op een positieve test hoger zijn wanneer een patiënt een specialist raadpleegt dan wanneer hij een huisarts raadpleegt. Omdat de positief en negatief voorspellende waarde gevoelig zijn voor de prevalentie van de ziekte, zou het misleidend zijn om deze waarden te vergelijken tussen verschillende studies met een verschillende ziekteprevalentie, of ze toe te passen in andere settings.

De gegevens uit het resultatenvenster kunnen worden samengevat in een tabel. De steekproefgrootte in de twee groepen moet duidelijk worden vermeld. De tabel kan een kolom bevatten voor de verschillende criteriumwaarden, de bijbehorende sensitiviteit (met 95%-BI), specificiteit (met 95%-BI), en eventueel de positief en negatief voorspellende waarde. De tabel mag niet alleen de testkarakteristieken voor één enkele afkapwaarde bevatten, maar bij voorkeur ook een rij voor de waarden die overeenkomen met een sensitiviteit van 90%, 95% en 97,5%, een specificiteit van 90%, 95% en 97,5%, en de waarde die overeenkomt met de Youden-index of de hoogste nauwkeurigheid.

Met deze gegevens kan elke lezer de negatief en positief voorspellende waarde berekenen die van toepassing is in zijn eigen klinische setting, wanneer hij de voorafkans op de ziekte (de kans vóór de test, of de prevalentie van de ziekte) in die setting kent, aan de hand van de volgende formules op basis van de stelling van Bayes:

en

De negatieve en positieve likelihood ratio moeten met de nodige voorzichtigheid worden gehanteerd, omdat ze vaak verkeerd worden geïnterpreteerd.

Literatuur

• DeLong ER, DeLong DM, Clarke-Pearson DL (1988) Comparing the areas under two or more correlated receiver operating characteristic curves: a non-parametric approach. Biometrics 44:837-845.
• Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
• Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
• Greiner M, Pfeiffer D, Smith RD (2000) Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 45:23-41.
• Griner PF, Mayewski RJ, Mushlin AI, Greenland P (1981) Selection and interpretation of diagnostic tests and procedures. Annals of Internal Medicine 94:555-600.
• Hanley JA, Hajian-Tilaki KO (1997) Sampling variability of non-parametric estimates of the areas under receiver operating characteristic curves: an update. Academic Radiology 4:49-58.
• Hanley JA, McNeil BJ (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143:29-36.
• Hilgers RA (1991) Distribution-free confidence bounds for ROC curves. Methods of Information in Medicine 30:96-101.
• Mercaldo ND, Lau KF, Zhou XH (2007) Confidence intervals for predictive values with an emphasis to case-control studies. Statistics in Medicine 26:2170-2183.
• Metz CE (1978) Basic principles of ROC analysis. Seminars in Nuclear Medicine 8:283-298.
• Youden WJ (1950) Index for rating diagnostic tests. Cancer 3:32-35.
• Zhou XH, Obuchowski NA, McClish DK (2002) Statistical methods in diagnostic medicine. Wiley-Interscience.
• Zweig MH, Campbell G (1993) Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577.

Zie ook

• Berekening van steekproefgrootte: oppervlakte onder de ROC-curve
• Interactief puntendiagram
• Grafiek versus criteriumwaarden
• Voorspellende waarden
• Interval-likelihoodratio's
• Vergelijking van ROC-curves (gecorreleerde ROC-curves, afgeleid van dezelfde gevallen)
• Vergelijking van onafhankelijke ROC-curves (ROC-curves van subgroepen)
• Grafiek opmaken
• Legenda van de grafiek
• Grafische objecten toevoegen
• Referentielijnen

Externe links

• Receiver operating characteristic op Wikipedia.