Comparação de curvas de precisão-revocação
| Comando: | Estatísticas Curvas ROCComparação de curvas de Precisão-Revocação |
|---|
Uma curva de precisão-revocação é a representação da precisão (valor preditivo positivo, eixo y) em função da revocação (sensibilidade, eixo x) para diferentes limiares. É uma alternativa à curva ROC (Saito & Rehmsmeier, 2015).
Na comparação de curvas de precisão-revocação do MedCalc, são construídas as curvas de precisão-revocação de duas variáveis dependentes ou independentes. “Variáveis dependentes” significa que os dados das duas variáveis provêm dos mesmos casos (indivíduos, amostras, pacientes, …) e são, portanto, emparelhados.
O MedCalc gera as curvas de precisão-revocação a partir dos dados brutos (e não de uma tabela de sensibilidade-VPP) e calcula a diferença entre as áreas sob as duas curvas, juntamente com o intervalo de confiança bootstrap BCa de 95% dessa diferença.
Como inserir os dados para uma curva de precisão-revocação
Para criar as curvas de precisão-revocação, você deve ter as duas medições de interesse (= os parâmetros que deseja estudar) e um diagnóstico independente que classifique os indivíduos do estudo em dois grupos distintos: um grupo doente e um grupo não doente. Esse diagnóstico deve ser independente das medições de interesse.
Na planilha, crie uma coluna Classification e duas colunas para as variáveis de interesse, por exemplo, Param1 e Param2. Para cada indivíduo do estudo, insira um código de classificação da seguinte forma: 1 para os casos doentes e 0 para os casos não doentes ou normais. Nas colunas Param1 e Param2, insira as medições de interesse de cada caso na mesma linha (pode ser medições, graus etc. - se os dados forem categóricos, codifique-os com valores numéricos).
| A | B | C | D | |
|---|---|---|---|---|
| Classification | Param1 | Param2 | ||
| 1 | 1 | 23,7 | 32,2 | |
| 2 | 0 | 18,9 | 32,1 | |
| 3 | 1 | 19,9 | 27,7 | |
| 4 | 1 | 25,6 | 36,9 | |
| 5 | 1 | 19,9 | 40,6 | |
| 6 | 1 | 22,1 | 34,5 | |
| 7 | 0 | 20,4 | 28,9 | |
| 8 | 0 | 19,9 | 24,7 |
Dados necessários
- Variáveis: selecione as duas variáveis de interesse.
- Variável de classificação: selecione uma variável dicotômica que indique o diagnóstico (0=negativo, 1=positivo).
Se os seus dados estiverem codificados de outra forma, você pode usar a ferramenta Definir estado para recodificá-los.
É importante identificar corretamente os casos positivos.
- Filtro: (opcionalmente) um filtro para incluir apenas um subgrupo selecionado de casos (por exemplo, AGE>21, SEX="Male").
- Opções:
- Os dados provêm dos mesmos indivíduos (dados emparelhados): selecione esta opção se as duas variáveis contiverem dados provenientes dos mesmos indivíduos. Se os dois conjuntos de dados provierem de indivíduos diferentes, não há delineamento emparelhado, e você desmarca esta opção. É importante fazer essa distinção, porque o poder estatístico do teste é diferente para um modelo de amostras emparelhadas ou independentes.
- Intervalo de confiança bootstrap: selecione esta opção para calcular, com a técnica bootstrap, um intervalo de confiança da diferença entre as áreas sob as curvas de precisão-revocação (AUPRC).
- Avançado: clique neste botão para especificar os parâmetros do bootstrap: número de réplicas e semente de números aleatórios.
- Gráfico:
- Opção para marcar os pontos que correspondem a valores de critério.
Resultados - amostras emparelhadas
Variável 1 | Param1 |
|---|---|
Variável 2 | Param2 |
Variável de classificação | Classification |
| Tamanho da amostra | 100 |
|---|---|
Grupo positivo a | 34 (34.00%) |
Grupo negativo b | 66 (66.00%) |
a Classification = 1
b Classification = 0
Curva de Precisão-Revocação
Variável | Param1 | Param2 |
|---|---|---|
Área sob a curva | 0.735 | 0.824 |
Intervalo de confiança de 95% | de 0.564 a 0.856 | de 0.659 a 0.919 |
F1max | 0.718 | 0.759 |
Critério associado | >21.4 | >33.7 |
Comparação de curvas de Precisão-Revocação emparelhadas
Diferença entre áreas | 0.08888 |
|---|---|
IC Bootstrap de 95% a | de 0.007429 a 0.2291 |
a BCa intervalo de confiança bootstrap (5000 iterações; semente de números aleatórios: 978).
  |
Primeiro, o MedCalc apresenta as seguintes estatísticas para cada variável:
- Os tamanhos das amostras dos grupos positivo e negativo.
- A área sob a curva de precisão-revocação (AUPRC), calculada com interpolação não linear (Davis & Goadrich, 2006).
- F1max: a pontuação F1 é uma medida da acurácia de um teste e é a média harmônica da precisão e da revocação. É calculada em cada nível de medição, e o F1max é a pontuação F1 máxima entre todos os níveis de medição.
$$ F_1 = 2 \times \frac{\textit{Revocação} \times \textit{Precisão}}{\textit{Revocação} + \textit{Precisão} } $$
- Critério associado: o critério (nível de medição) no qual o F1max foi atingido.
- O intervalo de confiança de 95% da AUPRC, calculado da seguinte forma (Boyd et al., 2013; método logit):
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1{,}96 \tau}}{1+ e^{\mu_\eta - 1{,}96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1{,}96 \tau}}{1+ e^{\mu_\eta + 1{,}96 \tau}} \right] $$
em que
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
Consulte também uma nota sobre os valores de critério.
Resultados - amostras independentes
O relatório para amostras independentes é um pouco diferente, mas contém essencialmente as mesmas estatísticas.
Variável 1 | Param1 |
|---|---|
Variável 2 | Param2 |
Variável de classificação | Classification |
Curva de Precisão-Revocação
Variável | Param1 | Param2 |
|---|---|---|
Tamanho total da amostra | 100 | 100 |
Grupo positivo a | 34 (34.00%) | 34 (34.00%) |
Grupo negativo b | 66 (66.00%) | 66 (66.00%) |
Área sob a curva | 0.735 | 0.824 |
Intervalo de confiança de 95% | de 0.564 a 0.856 | de 0.659 a 0.919 |
F1max | 0.718 | 0.759 |
Critério associado | >21.4 | >33.7 |
a Classification = 1
b Classification = 0
Comparação de curvas de Precisão-Revocação independentes
Diferença entre áreas | 0.08888 |
|---|---|
IC Bootstrap de 95% a | de -0.07367 a 0.2743 |
a BCa intervalo de confiança bootstrap (5000 iterações; semente de números aleatórios: 978).
| |
Comparação das duas curvas de precisão-revocação
O MedCalc apresenta:
- A diferença entre as duas áreas sob a curva de precisão-revocação (AUPRC).
- O intervalo de confiança bootstrap BCa de 95% dessa diferença, se a opção correspondente tiver sido selecionada. Se o intervalo de confiança não incluir 0, pode-se concluir que as duas áreas são significativamente diferentes (P<0,05).
Gráfico
Quando a opção de marcar no gráfico os pontos que correspondem a valores de critério está selecionada, ao clicar em um marcador são apresentados o critério correspondente (de positividade), a revocação (sensibilidade), a precisão (valor preditivo positivo) e a pontuação F1.
Literatura
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
