Precision-Recall eğrisi
| Komut: | İstatistik ROC eğrileriPrecision-Recall eğrisi |
|---|
Precision-Recall eğrisi, farklı eşikler için kesinliğin (precision, pozitif öngörü değeri, y ekseni) duyarlılığa (recall, x ekseni) karşı çizildiği bir grafiktir. ROC eğrisine bir alternatiftir (Saito & Rehmsmeier, 2015).
MedCalc, Precision-Recall eğrisini ham verilerden oluşturur (bir duyarlılık ve PPV tablosundan değil).
Precision-Recall eğrisi için veriler nasıl girilir
Bir Precision-Recall eğrisi oluşturmak için ilgilendiğiniz bir ölçüme (= incelemek istediğiniz parametre) ve denekleri iki ayrı gruba, yani hasta ve hasta olmayan gruplara ayıran bağımsız bir tanıya ihtiyacınız vardır. Bu ikinci tanı, ilgilendiğiniz ölçümden bağımsız olmalıdır.
Hesap tablosunda Classification için bir sütun ve ilgilendiğiniz değişken için bir sütun oluşturun, örneğin Param. Her denek için sınıflandırma kodunu şu şekilde girin: hasta vakalar için 1, hasta olmayan veya normal vakalar için 0. Param sütununa ilgilendiğiniz ölçümü girin (bu ölçümler, dereceler vb. olabilir - veriler kategorikse sayısal değerlerle kodlayın).
| A | B | C | |
|---|---|---|---|
| Classification | Param | ||
| 1 | 1 | 40,5 | |
| 2 | 0 | 35,5 | |
| 3 | 1 | 32,5 | |
| 4 | 1 | 43 | |
| 5 | 1 | 33,5 | |
| 6 | 1 | 35,5 | |
| 7 | 0 | 37 | |
| 8 | 0 | 38,5 | |
| 9 | 0 | 34 |
Gerekli girdi
- Değişken: ilgilendiğiniz değişkeni seçin.
- Sınıflandırma değişkeni: tanıyı gösteren ikili bir değişken seçin (0=negatif, 1=pozitif).
Verileriniz farklı kodlanmışsa Durum tanımla aracını kullanarak yeniden kodlayabilirsiniz.
Pozitif vakaları doğru belirtmek önemlidir.
- Filtre: (isteğe bağlı) yalnızca seçilen bir vaka alt grubunu dahil etmek için bir filtre (örneğin AGE>21, SEX="Male").
- Grafik seçenekleri:
- Ölçüt değerlerine karşılık gelen noktaları işaretleme seçeneği.
Sonuçlar
Değişken | Param |
|---|---|
Sınıflandırma değişkeni | Classification |
| Örneklem büyüklüğü | 100 |
|---|---|
Pozitif grup a | 34 (34.00%) |
Negatif grup b | 66 (66.00%) |
a Classification = 1
b Classification = 0
Precision-Recall eğrisi
Eğri altındaki alan | 0.565 |
|---|---|
%95 Güven aralığı | 0.398 - 0.719 |
F1max | 0.588 |
İlişkili ölçüt | ≤41 |
  |
MedCalc şunları verir:
- Pozitif ve negatif gruptaki örneklem büyüklükleri.
- Doğrusal olmayan interpolasyon kullanılarak hesaplanan Precision-Recall eğrisi altındaki alan (AUPRC) (Davis & Goadrich, 2006).
- F1max: F1 skoru, testin doğruluğunun bir ölçüsü olup kesinlik ve duyarlılığın harmonik ortalamasıdır. Her ölçüm düzeyinde hesaplanır ve F1max, tüm ölçüm düzeylerindeki en büyük F1 skorudur.
$$ F_1 = 2 \times \frac{\text{Duyarlılık} \times \text{Kesinlik}}{\text{Duyarlılık} + \text{Kesinlik} } $$
- İlişkili ölçüt: F1max değerine ulaşılan ölçüt (ölçüm düzeyi).
- AUPRC için %95 güven aralığı, şu şekilde hesaplanır (Boyd ve ark., 2013; logit yöntemi):
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1{,}96 \tau}}{1+ e^{\mu_\eta - 1{,}96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1{,}96 \tau}}{1+ e^{\mu_\eta + 1{,}96 \tau}} \right] $$
burada
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
Ayrıca ölçüt değerleri hakkındaki nota bakın.
Grafik
Ölçüt değerlerine karşılık gelen noktaları grafikte işaretleme seçeneği seçildiyse, bir işaretçiye tıklandığında ilgili (pozitiflik) ölçütü duyarlılık (recall), kesinlik (pozitif öngörü değeri) ve F1 skoruyla birlikte gösterilir.
Kaynakça
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
