Confronto tra curve precisione-richiamo
| Comando: | Statistiche Curve ROCConfronto tra curve precisione-richiamo |
|---|
Una curva precisione-richiamo (precision-recall) è un grafico della precisione (valore predittivo positivo, asse y) in funzione del richiamo (sensibilità, asse x) per diverse soglie. È un'alternativa alla curva ROC (Saito & Rehmsmeier, 2015).
Nel confronto tra curve precisione-richiamo di MedCalc vengono costruite le curve precisione-richiamo di due variabili dipendenti o indipendenti. "Variabili dipendenti" significa che i dati delle due variabili provengono dagli stessi casi (soggetti, campioni, pazienti, …) e sono quindi appaiati.
MedCalc genera le curve precisione-richiamo dai dati grezzi (non da una tabella sensibilità-VPP) e calcola la differenza tra le aree sotto le due curve, insieme all'intervallo di confidenza bootstrap BCa al 95% di questa differenza.
Come inserire i dati per una curva precisione-richiamo
Per creare le curve precisione-richiamo ti servono le due misure di interesse (= i parametri che vuoi studiare) e una diagnosi indipendente che classifichi i soggetti dello studio in due gruppi distinti: un gruppo di malati e un gruppo di non malati. Quest'ultima diagnosi deve essere indipendente dalle misure di interesse.
Nel foglio di lavoro, crea una colonna Classification e due colonne per le variabili di interesse, ad es. Param1 e Param2. Per ogni soggetto dello studio inserisci un codice per la classificazione come segue: 1 per i casi malati e 0 per i casi non malati o normali. Nelle colonne Param1 e Param2 inserisci le misure di interesse di ciascun caso sulla stessa riga (possono essere misurazioni, gradi, ecc. - se i dati sono categorici, codificali con valori numerici).
| A | B | C | D | |
|---|---|---|---|---|
| Classification | Param1 | Param2 | ||
| 1 | 1 | 23,7 | 32,2 | |
| 2 | 0 | 18,9 | 32,1 | |
| 3 | 1 | 19,9 | 27,7 | |
| 4 | 1 | 25,6 | 36,9 | |
| 5 | 1 | 19,9 | 40,6 | |
| 6 | 1 | 22,1 | 34,5 | |
| 7 | 0 | 20,4 | 28,9 | |
| 8 | 0 | 19,9 | 24,7 |
Input richiesto
- Variabili: seleziona le due variabili di interesse.
- Variabile di classificazione: seleziona una variabile dicotomica che indica la diagnosi (0=negativo, 1=positivo).
Se i tuoi dati sono codificati in modo diverso, puoi usare lo strumento Definisci stato per ricodificarli.
È importante identificare correttamente i casi positivi.
- Filtro: (facoltativo) un filtro per includere solo un sottogruppo selezionato di casi (ad es. AGE>21, SEX="Male").
- Opzioni:
- I dati provengono dagli stessi soggetti (dati appaiati): seleziona questa opzione se le due variabili contengono dati provenienti dagli stessi soggetti. Se i due insiemi di dati provengono da soggetti diversi, non c'è un disegno appaiato e devi deselezionare questa opzione. È importante fare questa distinzione, perché la potenza statistica del test è diversa per un modello a campioni appaiati o indipendenti.
- Intervalli di confidenza bootstrap: seleziona questa opzione per calcolare un intervallo di confidenza della differenza tra le aree sotto le curve precisione-richiamo (AUPRC) con la tecnica bootstrap.
- Avanzate: fai clic su questo pulsante per specificare i parametri del bootstrap: numero di repliche e seme dei numeri casuali.
- Grafico:
- Opzione per contrassegnare i punti corrispondenti ai valori di criterio.
Risultati - Campioni appaiati
Variabile 1 | Param1 |
|---|---|
Variabile 2 | Param2 |
Variabile di classificazione | Classification |
| Dimensione campione | 100 |
|---|---|
Gruppo positivo a | 34 (34.00%) |
Gruppo negativo b | 66 (66.00%) |
a Classification = 1
b Classification = 0
Curva precisione-richiamo
Variabile | Param1 | Param2 |
|---|---|---|
Area sotto la curva | 0.735 | 0.824 |
Intervallo di confidenza al 95% | 0.564 a 0.856 | 0.659 a 0.919 |
F1max | 0.718 | 0.759 |
Criterio associato | >21.4 | >33.7 |
Confronto di curve precisione-richiamo appaiate
Differenza tra le aree | 0.08888 |
|---|---|
IC Bootstrap al 95% a | 0.007429 a 0.2291 |
a Intervallo di confidenza bootstrap BCa (5000 iterazioni; seme numero casuale: 978).
  |
Per prima cosa MedCalc riporta le seguenti statistiche per ciascuna variabile:
- Le dimensioni dei campioni nel gruppo positivo e nel gruppo negativo.
- L'area sotto la curva precisione-richiamo (AUPRC), calcolata con un'interpolazione non lineare (Davis & Goadrich, 2006).
- F1max: il punteggio F1 è una misura dell'accuratezza di un test ed è la media armonica di precisione e richiamo. Viene calcolato a ogni livello di misura e F1max è il punteggio F1 massimo su tutti i livelli di misura.
$$ F_1 = 2 \times \frac{Richiamo \times Precisione}{Richiamo + Precisione } $$
- Criterio associato: il criterio (livello di misura) in corrispondenza del quale è stato raggiunto F1max.
- L'intervallo di confidenza al 95% dell'AUPRC, calcolato come segue (Boyd et al., 2013; metodo logit):
$$ IC(AUPRC) = \left[ \frac{e^{\mu_\eta - 1{,}96 \tau}}{1+ e^{\mu_\eta - 1{,}96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1{,}96 \tau}}{1+ e^{\mu_\eta + 1{,}96 \tau}} \right] $$
dove
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
Vedi anche la nota sui valori di criterio.
Risultati - Campioni indipendenti
Il report per campioni indipendenti è un po' diverso, ma contiene sostanzialmente le stesse statistiche.
Variabile 1 | Param1 |
|---|---|
Variabile 2 | Param2 |
Variabile di classificazione | Classification |
Curva precisione-richiamo
Variabile | Param1 | Param2 |
|---|---|---|
Dimensione totale campione | 100 | 100 |
Gruppo positivo a | 34 (34.00%) | 34 (34.00%) |
Gruppo negativo b | 66 (66.00%) | 66 (66.00%) |
Area sotto la curva | 0.735 | 0.824 |
Intervallo di confidenza al 95% | 0.564 a 0.856 | 0.659 a 0.919 |
F1max | 0.718 | 0.759 |
Criterio associato | >21.4 | >33.7 |
a Classification = 1
b Classification = 0
Confronto di curve precisione-richiamo indipendenti
Differenza tra le aree | 0.08888 |
|---|---|
IC Bootstrap al 95% a | -0.07367 a 0.2743 |
a Intervallo di confidenza bootstrap BCa (5000 iterazioni; seme numero casuale: 978).
| |
Confronto delle due curve precisione-richiamo
MedCalc riporta:
- La differenza tra le due aree sotto la curva precisione-richiamo (AUPRC).
- L'intervallo di confidenza bootstrap BCa al 95% di questa differenza, se è stata selezionata l'opzione corrispondente. Se l'intervallo di confidenza non include 0, si può concludere che le due aree sono significativamente diverse (P<0,05).
Grafico
Se è stata selezionata l'opzione per contrassegnare nel grafico i punti corrispondenti ai valori di criterio, quando fai clic su un indicatore vengono riportati il criterio corrispondente (di positività) insieme a richiamo (sensibilità), precisione (valore predittivo positivo) e punteggio F1.
Letteratura
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
