Analisi della curva ROC

Comando:	Statistiche Curve ROC Analisi della curva ROC

L'analisi della curva ROC (Receiver Operating Characteristic) è un metodo per valutare le prestazioni di un classificatore binario o di un test diagnostico su tutte le possibili soglie decisionali. È ampiamente utilizzata in medicina, ma anche nell'apprendimento automatico, nel rilevamento dei segnali e in qualsiasi contesto in cui sia necessario distinguere tra due classi (malattia presente/assente, spam/non spam, ecc.). La curva ROC è uno strumento fondamentale per la valutazione dei test diagnostici.

Che cos'è una curva ROC?

Una curva ROC è un grafico del tasso di veri positivi (Sensibilità) in funzione del tasso di falsi positivi (100-Specificità) per diversi punti di cutoff di un parametro. Ogni punto della curva ROC rappresenta una coppia sensibilità/specificità corrispondente a una particolare soglia decisionale. L'area sotto la curva ROC (AUC) è una misura della capacità di un parametro di distinguere tra due gruppi diagnostici (malati/sani).

Sintesi della teoria

Le prestazioni diagnostiche di un test, ovvero l'accuratezza di un test nel discriminare i casi patologici da quelli normali, vengono valutate mediante l'analisi della curva ROC (Receiver Operating Characteristic) (Metz, 1978; Zweig & Campbell, 1993). Le curve ROC possono essere utilizzate anche per confrontare le prestazioni diagnostiche di due o più test di laboratorio o diagnostici (Griner et al., 1981).

Quando si considerano i risultati di un determinato test in due popolazioni, una con la malattia e l'altra senza, raramente si osserva una separazione perfetta tra i due gruppi. Infatti, la distribuzione dei risultati del test si sovrapporrà, come mostrato nella figura seguente.

Per ogni possibile punto di cutoff o valore di criterio scelto per discriminare tra le due popolazioni, alcuni casi con la malattia saranno correttamente classificati come positivi (TP = frazione di veri positivi), mentre alcuni casi con la malattia saranno classificati come negativi (FN = frazione di falsi negativi). D'altra parte, alcuni casi senza la malattia saranno correttamente classificati come negativi (TN = frazione di veri negativi), mentre alcuni casi senza la malattia saranno classificati come positivi (FP = frazione di falsi positivi).

Schema dei possibili esiti di un test

Le diverse frazioni (TP, FP, TN, FN) sono rappresentate nella tabella seguente.

Si possono definire le seguenti statistiche:

• Sensibilità: probabilità che il risultato di un test sia positivo quando la malattia è presente (tasso di veri positivi, espresso in percentuale).
  $$ Sensibilità = \frac { a } { a + b} $$
• Specificità: probabilità che il risultato di un test sia negativo quando la malattia non è presente (tasso di veri negativi, espresso in percentuale).
  $$ Specificità = \frac { d } { c + d} $$
• Rapporto di verosimiglianza positivo: rapporto tra la probabilità di un risultato positivo del test in presenza della malattia e la probabilità di un risultato positivo del test in assenza della malattia, cioè
  $$ +LR = \frac { Tasso\ di\ veri\ positivi } { Tasso\ di\ falsi\ positivi } = \frac { Sensibilità} { 1 - Specificità} $$
• Rapporto di verosimiglianza negativo: rapporto tra la probabilità di un risultato negativo del test in presenza della malattia e la probabilità di un risultato negativo del test in assenza della malattia, cioè
  $$ -LR = \frac { Tasso\ di\ falsi\ negativi } { Tasso\ di\ veri\ negativi } = \frac { 1 - Sensibilità} { Specificità} $$
• Valore predittivo positivo: probabilità che la malattia sia presente quando il test è positivo (espressa in percentuale).
  $$ PPV = \frac { a } { a + c} $$
• Valore predittivo negativo: probabilità che la malattia non sia presente quando il test è negativo (espressa in percentuale).
  $$ NPV = \frac { d } { b + d} $$

Sensibilità e specificità in funzione del valore di criterio

Quando si seleziona un valore di criterio più alto, la frazione di falsi positivi diminuirà con un aumento della specificità, ma d'altra parte la frazione di veri positivi e la sensibilità diminuiranno:

Quando si seleziona un valore soglia più basso, la frazione di veri positivi e la sensibilità aumenteranno. D'altra parte la frazione di falsi positivi aumenterà a sua volta, e quindi la frazione di veri negativi e la specificità diminuiranno.

La curva ROC

In una curva ROC (Receiver Operating Characteristic) il tasso di veri positivi (Sensibilità) viene rappresentato in funzione del tasso di falsi positivi (100-Specificità) per diversi punti di cutoff. Ogni punto della curva ROC rappresenta una coppia sensibilità/specificità corrispondente a una particolare soglia decisionale. Un test con discriminazione perfetta (nessuna sovrapposizione tra le due distribuzioni) ha una curva ROC che passa per l'angolo superiore sinistro (100% sensibilità, 100% specificità). Pertanto, quanto più la curva ROC si avvicina all'angolo superiore sinistro, tanto maggiore è l'accuratezza complessiva del test (Zweig & Campbell, 1993).

Come inserire i dati per l'analisi della curva ROC

Per eseguire l'analisi della curva ROC in MedCalc è necessario disporre di una misurazione di interesse (= il parametro che si vuole studiare) e di una diagnosi indipendente che classifichi i soggetti dello studio in due gruppi distinti: un gruppo malato e uno non malato. Quest'ultima diagnosi deve essere indipendente dalla misurazione di interesse.

Ad esempio, nel foglio di lavoro crea una colonna DIAGNOSIS e una colonna per la variabile di interesse, ad es. TEST1. Per ogni soggetto dello studio inserisci un codice per la diagnosi come segue: 1 per i casi malati e 0 per i casi non malati o normali. Nella colonna TEST1, inserisci la misurazione di interesse (possono essere misurazioni, gradi, ecc. - se i dati sono categoriali, codificali con valori numerici).

Dati

A1

1

	A	B	C
	DIAGNOSIS	TEST1
1	1	112,7
2	1	104,0
3	1	126,7
4	1	123,3
5	1	120,5
6	1	130,3
7	1	129,6
8	0	97,9
9	0	94,9
10	1	140,2
11	1	119,7
12	0	98,6
13	0	77,3

Input richiesto

Completa la finestra di dialogo dell'analisi della curva ROC come segue:

Dati

• Variabile: seleziona la variabile di interesse. Questa variabile contiene i risultati del test diagnostico per cui si desidera ottenere le caratteristiche del test.
• Variabile di classificazione: seleziona o inserisci una variabile dicotomica che indica la diagnosi (0=negativo, 1=positivo).
  Se i tuoi dati sono codificati in modo diverso, puoi utilizzare lo strumento Definisci stato per ricodificarli.
• Filtro: (facoltativo) un filtro per includere solo un sottogruppo selezionato di casi (ad es. AGE>21, SEX="Male").

Metodologia

• DeLong et al.: utilizza il metodo di DeLong et al. (1988) per il calcolo dell'errore standard dell'area sotto la curva (consigliato).
• Hanley & McNeil: utilizza il metodo di Hanley & McNeil (1982) per il calcolo dell'errore standard dell'area sotto la curva.
• Intervallo di confidenza binomiale esatto per l'AUC: calcola un intervallo di confidenza binomiale esatto per l'area sotto la curva (consigliato). Se questa opzione non è selezionata, l'intervallo di confidenza viene calcolato come AUC ± 1,96 volte il suo errore standard.

Prevalenza della malattia

Mentre la sensibilità e la specificità, e quindi la curva ROC, e il rapporto di verosimiglianza positivo e negativo sono indipendenti dalla prevalenza della malattia, i valori predittivi positivo e negativo dipendono fortemente dalla prevalenza della malattia o dalla probabilità pre-test della malattia. Pertanto, quando la prevalenza della malattia non è nota, il programma non può calcolare i valori predittivi positivo e negativo.

Da un punto di vista clinico, la prevalenza della malattia corrisponde alla probabilità che la malattia sia presente prima dell'esecuzione del test (probabilità pre-test della malattia).

• Sconosciuta: seleziona questa opzione quando la prevalenza della malattia non è nota, oppure non è rilevante per l'analisi statistica in corso.
• Il rapporto tra i casi nel gruppo positivo e in quello negativo riflette la prevalenza della malattia: se le dimensioni del campione nel gruppo positivo e in quello negativo riflettono la prevalenza reale della malattia nella popolazione, ciò può essere indicato selezionando questa opzione.
• Altro valore (%): in alternativa puoi inserire un valore per la prevalenza della malattia, espresso in percentuale.

Opzioni

• Elenca i valori di criterio con le caratteristiche del test: opzione per creare un elenco di valori di criterio corrispondenti alle coordinate della curva ROC, con la sensibilità, la specificità, i rapporti di verosimiglianza e i valori predittivi associati (se la prevalenza della malattia è nota).
  • Includi tutti i valori di criterio osservati: selezionando questa opzione, il programma elencherà la sensibilità e la specificità per tutti i possibili valori soglia. Se questa opzione non è selezionata, il programma elencherà solo i punti più importanti della curva ROC: a parità di sensibilità/specificità, fornirà i valori soglia (valori di criterio) con la specificità/sensibilità più alta.
• Intervallo di confidenza al 95% per sensibilità/specificità, rapporto di verosimiglianza e valori predittivi: seleziona gli intervalli di confidenza desiderati.
• Calcola il valore di criterio ottimale tenendo conto dei costi: opzione per calcolare il valore di criterio ottimale tenendo conto della prevalenza della malattia e del costo delle decisioni vere/false positive e negative (Zweig & Campbell, 1993). Questa opzione è disponibile solo se la prevalenza della malattia è nota (vedi sopra).
  • FPc: il costo di una decisione falsa positiva.
  • FNc: il costo di una decisione falsa negativa.
  • TPc: il costo di una decisione vera positiva.
  • TNc: il costo di una decisione vera negativa.
  Questi dati vengono utilizzati per calcolare un parametro S come segue:
  $$ S = \left ( \frac {FP_c - TN_c} {FN_c - TP_c} \right ) \times \left ( \frac {1-P} {P} \right ) $$
  dove P indica la prevalenza nella popolazione target (Greiner et al., 2000). Il punto della curva ROC in cui una retta con questa pendenza S tocca la curva è il punto operativo ottimale, tenendo conto della prevalenza e dei costi delle diverse decisioni.

  I costi possono essere costi finanziari o costi sanitari, ma tutti e 4 i fattori di costo devono essere espressi su una scala comune. I benefici possono essere espressi come costi negativi. Supponiamo che una decisione falsa negativa (FN) sia considerata due volte più costosa di una decisione falsa positiva (FP), e che non vengano fatte assunzioni sui costi delle decisioni vere positive e vere negative. In tal caso, per FNc inserisci 2, per FPc inserisci 1 e inserisci 0 sia per TPc che per TNc.

  Poiché la pendenza S deve essere un numero positivo:

  • FPc non può essere uguale a TNc
  • FNc non può essere uguale a TPc
  • Se TNc è maggiore di FPc, allora TPc deve essere maggiore di FNc
  • Se TNc è minore di FPc, allora TPc deve essere minore di FNc

  Il parametro S è "cost-neutral" (neutro rispetto ai costi) quando (FPc-TNc)/(FNc-TPc) è uguale a 1, cioè quando FPc-TNc è uguale a FNc-TPc. In questo caso S, e quindi il "valore di criterio ottimale", dipende solo dalla prevalenza della malattia.

• Avanzate: fai clic su questo pulsante per alcune opzioni avanzate:
  Queste opzioni richiedono il bootstrapping e sono computazionalmente intensive e dispendiose in termini di tempo.
  • Stima della sensibilità e della specificità a specificità e sensibilità fisse: compila una tabella con la stima della sensibilità e della specificità, con un intervallo di confidenza bootstrap BC_a al 95% (Efron, 1987; Efron & Tibshirani, 1993), per valori fissi e predefiniti di specificità e sensibilità dell'80%, 90%, 95% e 97,5% (Zhou et al., 2002).
  • Intervallo di confidenza bootstrap dell'indice di Youden: calcola un intervallo di confidenza bootstrap BC_a al 95% per l'indice di Youden e il relativo valore di criterio.
  • Repliche bootstrap: inserisci il numero di repliche bootstrap. 1000 repliche è un numero comunemente riportato in letteratura. Numeri più alti aumentano l'accuratezza ma anche il tempo di elaborazione.
  • Seed del generatore di numeri casuali: è il seed per il generatore di numeri casuali. Inserisci 0 per un seed casuale; questo può produrre intervalli di confidenza diversi quando la procedura viene ripetuta. Qualsiasi altro valore genererà una sequenza "casuale" ripetibile, che produrrà valori ripetibili per gli intervalli di confidenza.

Grafico ROC

• Seleziona Visualizza finestra curva ROC per ottenere il grafico in una finestra separata.
  Opzioni:
  • contrassegna i punti corrispondenti ai valori di criterio.
  • visualizza i limiti di confidenza al 95% per la curva ROC (Hilgers, 1991).

Risultati e interpretazione delle curve ROC

Dimensione del campione

Innanzitutto il programma visualizza il numero di osservazioni nei due gruppi. Per quanto riguarda la dimensione del campione, è stato suggerito che si possano trarre conclusioni qualitative significative da esperimenti ROC condotti con un totale di circa 100 osservazioni (Metz, 1978).

Area sotto la curva ROC

MedCalc riporta l'area sotto la curva ROC con l'errore standard e l'intervallo di confidenza al 95%.

L'area sotto la curva ROC (AUC) può essere interpretata come segue (Zhou, Obuchowski & McClish, 2002):

• il valore medio della sensibilità per tutti i possibili valori di specificità;
• il valore medio della specificità per tutti i possibili valori di sensibilità;
• la probabilità che un individuo selezionato casualmente dal gruppo positivo abbia un risultato del test che indica un sospetto maggiore rispetto a quello di un individuo selezionato casualmente dal gruppo negativo.

Quando la variabile in esame non è in grado di distinguere tra i due gruppi, ossia quando non c'è differenza tra le due distribuzioni, l'area sarà pari a 0,5 (la curva ROC coinciderà con la diagonale). Quando c'è una separazione perfetta dei valori dei due gruppi, ossia non vi è sovrapposizione tra le distribuzioni, l'area sotto la curva ROC è pari a 1 (la curva ROC raggiungerà l'angolo superiore sinistro del grafico).

L'intervallo di confidenza al 95% è l'intervallo entro il quale, con un livello di confidenza del 95%, si colloca la vera area sotto la curva ROC (a livello di popolazione).

Il livello di significatività o valore P è la probabilità di osservare l'area campionaria sotto la curva ROC riscontrata, ammesso che la vera area sotto la curva ROC (a livello di popolazione) sia in realtà pari a 0,5 (ipotesi nulla: Area = 0,5). Se P è piccolo (P<0,05) si può concludere che l'area sotto la curva ROC è significativamente diversa da 0,5 e che quindi vi è evidenza che il test di laboratorio ha effettivamente la capacità di distinguere tra i due gruppi (Hanley & McNeil, 1982; Zweig & Campbell, 1993).

Indice di Youden

L'indice di Youden viene riportato con il relativo intervallo di confidenza al 95% e il valore di criterio associato.

L'indice di Youden J (Youden, 1950) è definito come:

dove c varia su tutti i possibili valori di criterio.

Graficamente, J è la distanza verticale massima tra la curva ROC e la linea diagonale.

Il valore di criterio corrispondente all'indice di Youden J è il valore di criterio ottimale solo quando la prevalenza della malattia è del 50%, viene attribuito lo stesso peso a sensibilità e specificità, e i costi delle diverse decisioni vengono ignorati.

Quando è stata selezionata la corrispondente opzione Avanzate, MedCalc calcolerà intervalli di confidenza bootstrap BC_a al 95% (Efron, 1987; Efron & Tibshirani, 1993) sia per l'indice di Youden sia per il relativo valore di criterio.

Valori di criterio

MedCalc non si limita a riportare i valori soglia o di criterio, ma li riporta con un segno di confronto, > o ≤, a seconda che siano i valori più alti o quelli più bassi a indicare la malattia.

Consulta la nota su Valori di criterio.

Criterio ottimale

Questo pannello viene visualizzato solo quando la prevalenza della malattia e i parametri di costo sono noti.

Il valore di criterio ottimale tiene conto non solo della sensibilità e della specificità, ma anche della prevalenza della malattia e dei costi delle diverse decisioni. Quando questi dati sono noti, MedCalc calcolerà il criterio ottimale e la sensibilità e specificità associate. E quando è stata selezionata la corrispondente opzione Avanzate, MedCalc calcolerà intervalli di confidenza bootstrap BC_a al 95% (Efron, 1987; Efron & Tibshirani, 1993) per questi parametri.

Quando un test viene utilizzato a scopo di screening o per escludere una possibilità diagnostica, può essere selezionato un valore di cutoff con una sensibilità più alta; quando invece un test viene utilizzato per confermare una malattia, può essere richiesta una specificità più alta.

Tabella riepilogativa

Questo pannello viene visualizzato solo quando è stata selezionata la corrispondente opzione Avanzate.

La tabella riepilogativa mostra la specificità stimata per sensibilità fisse e predefinite dell'80, 90, 95 e 97,5%, nonché la sensibilità stimata per specificità fisse e predefinite (Zhou et al., 2002), con i relativi valori di criterio.

Gli intervalli di confidenza sono intervalli di confidenza bootstrap BC_a al 95% (Efron, 1987; Efron & Tibshirani, 1993).

Valori di criterio e coordinate della curva ROC

Questa sezione della finestra dei risultati elenca i diversi filtri o valori di cutoff con la corrispondente sensibilità e specificità del test, e il rapporto di verosimiglianza positivo (+LR) e negativo (-LR). Quando la prevalenza della malattia è nota, il programma riporterà anche il valore predittivo positivo (+PV) e il valore predittivo negativo (-PV).

Se non hai selezionato l'opzione Includi tutti i valori di criterio osservati, il programma elenca solo i punti più importanti della curva ROC: a parità di sensibilità (rispettivamente specificità), fornisce il valore soglia (valore di criterio) con la specificità (rispettivamente sensibilità) più alta. Se selezioni l'opzione Includi tutti i valori di criterio osservati, il programma elencherà la sensibilità e la specificità per tutti i possibili valori soglia.

• Sensibilità (con intervallo di confidenza al 95% opzionale): probabilità che il risultato di un test sia positivo quando la malattia è presente (tasso di veri positivi).
• Specificità (con intervallo di confidenza al 95% opzionale): probabilità che il risultato di un test sia negativo quando la malattia non è presente (tasso di veri negativi).
• Rapporto di verosimiglianza positivo (con intervallo di confidenza al 95% opzionale): rapporto tra la probabilità di un risultato positivo del test in presenza della malattia e la probabilità di un risultato positivo del test in assenza della malattia.
• Rapporto di verosimiglianza negativo (con intervallo di confidenza al 95% opzionale): rapporto tra la probabilità di un risultato negativo del test in presenza della malattia e la probabilità di un risultato negativo del test in assenza della malattia.
• Valore predittivo positivo (con intervallo di confidenza al 95% opzionale): probabilità che la malattia sia presente quando il test è positivo.
• Valore predittivo negativo (con intervallo di confidenza al 95% opzionale): probabilità che la malattia non sia presente quando il test è negativo.
• Costo^*: il costo medio derivante dall'utilizzo del test diagnostico a quel livello decisionale. Nota che il costo qui riportato esclude il "costo generale", ossia il costo di esecuzione del test, che è costante a tutti i livelli decisionali.
  ^*Questa colonna viene visualizzata solo quando la prevalenza della malattia e i parametri di costo sono noti.

La sensibilità, la specificità, il valore predittivo positivo e negativo, nonché la prevalenza della malattia, sono espressi in percentuale.

Gli intervalli di confidenza per la sensibilità e la specificità sono intervalli di confidenza "esatti" di Clopper-Pearson.

Gli intervalli di confidenza per i rapporti di verosimiglianza sono calcolati utilizzando il "metodo Log" riportato a pagina 109 di Altman et al. 2000.

Gli intervalli di confidenza per i valori predittivi sono gli intervalli di confidenza logit standard riportati da Mercaldo et al. 2007.

Curva ROC

La curva ROC verrà visualizzata in una seconda finestra quando avrai selezionato la corrispondente opzione nella finestra di dialogo.

In una curva ROC il tasso di veri positivi (Sensibilità) viene rappresentato in funzione del tasso di falsi positivi (100-Specificità) per diversi punti di cutoff. Ogni punto della curva ROC rappresenta una coppia sensibilità/specificità corrispondente a una particolare soglia decisionale. Un test con discriminazione perfetta (nessuna sovrapposizione tra le due distribuzioni) ha una curva ROC che passa per l'angolo superiore sinistro (100% sensibilità, 100% specificità). Pertanto, quanto più la curva ROC si avvicina all'angolo superiore sinistro, tanto maggiore è l'accuratezza complessiva del test (Zweig & Campbell, 1993).

Quando fai clic su un punto specifico della curva ROC, verrà visualizzato il corrispondente punto di cutoff con la sensibilità e la specificità.

Questa è la curva ROC con l'opzione Includi limiti di confidenza al 95%:

Presentazione dei risultati

La prevalenza di una malattia può variare a seconda del contesto clinico. Ad esempio, la probabilità pre-test di un risultato positivo sarà più alta quando un paziente consulta uno specialista rispetto a quando consulta un medico di base. Poiché i valori predittivi positivo e negativo sono sensibili alla prevalenza della malattia, sarebbe fuorviante confrontare questi valori tra studi diversi in cui la prevalenza della malattia differisce, oppure applicarli in contesti diversi.

I dati della finestra dei risultati possono essere riassunti in una tabella. La dimensione del campione nei due gruppi dovrebbe essere chiaramente indicata. La tabella può contenere una colonna per i diversi valori di criterio, la corrispondente sensibilità (con IC 95%), specificità (con IC 95%) ed eventualmente il valore predittivo positivo e negativo. La tabella non dovrebbe contenere solo le caratteristiche del test per un unico valore di cutoff, ma preferibilmente dovrebbe includere una riga per i valori corrispondenti a una sensibilità del 90%, 95% e 97,5%, a una specificità del 90%, 95% e 97,5%, e il valore corrispondente all'indice di Youden o alla massima accuratezza.

Con questi dati, qualsiasi lettore può calcolare il valore predittivo negativo e positivo applicabile al proprio contesto clinico, conoscendo la probabilità pre-test della malattia (probabilità pre-test o prevalenza della malattia) in tale contesto, mediante le seguenti formule basate sul teorema di Bayes:

e

Il rapporto di verosimiglianza negativo e positivo deve essere gestito con cautela poiché è facilmente e comunemente interpretato in modo errato.

Letteratura

• DeLong ER, DeLong DM, Clarke-Pearson DL (1988) Comparing the areas under two or more correlated receiver operating characteristic curves: a non-parametric approach. Biometrics 44:837-845.
• Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
• Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
• Greiner M, Pfeiffer D, Smith RD (2000) Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 45:23-41.
• Griner PF, Mayewski RJ, Mushlin AI, Greenland P (1981) Selection and interpretation of diagnostic tests and procedures. Annals of Internal Medicine 94:555-600.
• Hanley JA, Hajian-Tilaki KO (1997) Sampling variability of non-parametric estimates of the areas under receiver operating characteristic curves: an update. Academic Radiology 4:49-58.
• Hanley JA, McNeil BJ (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143:29-36.
• Hilgers RA (1991) Distribution-free confidence bounds for ROC curves. Methods of Information in Medicine 30:96-101.
• Mercaldo ND, Lau KF, Zhou XH (2007) Confidence intervals for predictive values with an emphasis to case-control studies. Statistics in Medicine 26:2170-2183.
• Metz CE (1978) Basic principles of ROC analysis. Seminars in Nuclear Medicine 8:283-298.
• Youden WJ (1950) Index for rating diagnostic tests. Cancer 3:32-35.
• Zhou XH, Obuchowski NA, McClish DK (2002) Statistical methods in diagnostic medicine. Wiley-Interscience.
• Zweig MH, Campbell G (1993) Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577.

Vedi anche

• Calcolo della dimensione del campione: area sotto la curva ROC
• Diagramma a punti interattivo
• Grafico rispetto ai valori di criterio
• Valori predittivi
• Rapporti di verosimiglianza per intervalli
• Confronto tra curve ROC (curve ROC correlate, derivate dagli stessi casi)
• Confronto tra curve ROC indipendenti (curve ROC di sottogruppi)
• Formatta grafico
• Legenda del grafico
• Aggiungi oggetti grafici
• Linee di riferimento

Link esterni

• Receiver operating characteristic su Wikipedia.