Кривая Precision–Recall
| Команда: | Статистика Кривые ROCКривая Precision-Recall |
|---|
Кривая Precision–Recall — это график зависимости точности (precision; прогностическая ценность положительного результата, ось y) от полноты (recall; чувствительность, ось x) при различных пороговых значениях. Она является альтернативой кривой ROC (Saito & Rehmsmeier, 2015).
MedCalc строит кривую precision-recall по исходным данным (а не по таблице чувствительности и прогностической ценности положительного результата).
Порядок ввода данных для кривой Precision–Recall
Для построения кривой Precision–Recall необходимы интересующее измерение (= параметр, который вы хотите изучить) и независимый диагноз, разделяющий обследуемых на две различные группы: больных и здоровых. Этот диагноз должен быть независим от интересующего измерения.
В электронной таблице создайте столбец Classification и столбец для интересующей переменной, например Param. Для каждого обследуемого введите код классификации: 1 для больных и 0 для здоровых (нормальных) случаев. В столбец Param введите интересующее измерение (это могут быть результаты измерений, баллы и т. п.; если данные категориальные, закодируйте их числовыми значениями).
| A | B | C | |
|---|---|---|---|
| Classification | Param | ||
| 1 | 1 | 40,5 | |
| 2 | 0 | 35,5 | |
| 3 | 1 | 32,5 | |
| 4 | 1 | 43 | |
| 5 | 1 | 33,5 | |
| 6 | 1 | 35,5 | |
| 7 | 0 | 37 | |
| 8 | 0 | 38,5 | |
| 9 | 0 | 34 |
Необходимые входные данные
- Переменная: выберите интересующую переменную.
- Классификационная переменная: выберите дихотомическую переменную, указывающую диагноз (0 = отрицательный, 1 = положительный).
Если ваши данные закодированы иначе, их можно перекодировать с помощью команды Определить статус.
Важно правильно указать положительные случаи.
- Фильтр: (необязательно) фильтр, позволяющий включить только выбранную подгруппу случаев (например, AGE>21, SEX="Male").
- Параметры диаграммы:
- Параметр для отметки точек, соответствующих значениям критерия.
Результаты
Переменная | Param |
|---|---|
Классификационная переменная | Classification |
| Объем выборки | 100 |
|---|---|
Положительная группа a | 34 (34.00%) |
Отрицательная группа b | 66 (66.00%) |
a Classification = 1
b Classification = 0
Кривая Precision-Recall
Площадь под кривой | 0.565 |
|---|---|
Доверительный интервал 95% | от 0.398 до 0.719 |
F1max | 0.588 |
Связанный критерий | ≤41 |
  |
MedCalc выводит:
- Объемы выборки в положительной и отрицательной группах.
- Площадь под кривой Precision–Recall (AUPRC), вычисленную с помощью нелинейной интерполяции (Davis & Goadrich, 2006).
- F1max: F1-мера — показатель точности теста, равный среднему гармоническому точности и полноты. Она вычисляется для каждого уровня измерения, а F1max — максимальное значение F1-меры по всем уровням измерения.
$$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
- Связанный критерий: критерий (уровень измерения), при котором достигается F1max.
- 95% доверительный интервал для AUPRC, который вычисляется следующим образом (Boyd et al, 2013; логит-метод):
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$
где
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
См. также примечание о значениях критерия.
Диаграмма
Если был выбран параметр отметки на диаграмме точек, соответствующих значениям критерия, то при щелчке по маркеру выводятся соответствующий критерий (положительного результата), а также полнота (чувствительность), точность (прогностическая ценность положительного результата) и F1-мера.
Литература
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
