정밀도-재현율 곡선
| 명령: | 통계 ROC 곡선정밀도-재현율 곡선 |
|---|
정밀도-재현율(Precision-Recall) 곡선은 여러 임계값에 대해 정밀도(양성 예측도, y축)를 재현율(민감도, x축)에 대해 나타낸 도표입니다. ROC 곡선의 대안입니다(Saito & Rehmsmeier, 2015).
MedCalc는 원자료로부터 정밀도-재현율 곡선을 생성합니다(민감도와 PPV의 표로부터가 아님).
정밀도-재현율 곡선을 위한 데이터 입력 방법
정밀도-재현율 곡선을 만들려면 관심 있는 측정값(= 연구하려는 파라미터)과, 피험자를 질병이 있는 그룹과 없는 그룹의 두 개의 서로 다른 그룹으로 분류하는 독립적인 진단이 필요합니다. 이 진단은 관심 있는 측정값과 독립적이어야 합니다.
스프레드시트에서 Classification 열과 관심 있는 변수의 열(예: Param)을 만듭니다. 각 피험자에 대해 분류 코드를 다음과 같이 입력합니다. 질병이 있는 케이스는 1, 질병이 없거나 정상인 케이스는 0입니다. Param 열에는 관심 있는 측정값을 입력합니다(측정값, 등급 등이 될 수 있으며, 데이터가 범주형이면 숫자 값으로 코딩합니다).
| A | B | C | |
|---|---|---|---|
| Classification | Param | ||
| 1 | 1 | 40.5 | |
| 2 | 0 | 35.5 | |
| 3 | 1 | 32.5 | |
| 4 | 1 | 43 | |
| 5 | 1 | 33.5 | |
| 6 | 1 | 35.5 | |
| 7 | 0 | 37 | |
| 8 | 0 | 38.5 | |
| 9 | 0 | 34 |
필수 입력 항목
- 변수: 관심 있는 변수를 선택합니다.
- 분류 변수: 진단을 나타내는 이분형 변수(0=음성, 1=양성)를 선택합니다.
데이터가 다르게 코딩되어 있으면 상태 정의 도구를 사용하여 데이터를 다시 코딩할 수 있습니다.
양성 케이스를 올바르게 식별하는 것이 중요합니다.
- 필터: (선택 사항) 선택한 하위 그룹의 케이스만 포함하기 위한 필터입니다(예: AGE>21, SEX="Male").
- 그래프 옵션:
- 기준값에 해당하는 점을 표시하는 옵션입니다.
결과
변수 | Param |
|---|---|
분류 변수 | Classification |
| 표본 크기 | 100 |
|---|---|
양성군 a | 34 (34.00%) |
음성군 b | 66 (66.00%) |
a Classification = 1
b Classification = 0
정밀도-재현율 곡선
곡선하면적 | 0.565 |
|---|---|
95% 신뢰구간 | 0.398 ~ 0.719 |
F1max | 0.588 |
관련 기준 | ≤41 |
  |
MedCalc는 다음을 보고합니다.
- 양성군과 음성군의 표본 크기.
- 비선형 보간법으로 계산한 정밀도-재현율 곡선하면적(AUPRC)(Davis & Goadrich, 2006).
- F1max: F1 점수는 검사의 정확도를 나타내는 측도로, 정밀도와 재현율의 조화평균입니다. 각 측정 수준에서 계산되며, F1max는 모든 측정 수준에 걸친 F1 점수의 최대값입니다.
$$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
- 관련 기준: F1max에 도달한 기준(측정 수준)입니다.
- AUPRC의 95% 신뢰구간으로, 다음과 같이 계산됩니다(Boyd et al, 2013; 로짓 방법).
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$
여기서
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
기준값에 대한 참고 사항도 참조하십시오.
그래프
그래프에서 기준값에 해당하는 점을 표시하는 옵션을 선택한 경우, 표식을 클릭하면 해당 기준(양성 판정 기준)과 함께 재현율(민감도), 정밀도(양성 예측도) 및 F1 점수가 표시됩니다.
참고문헌
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
