Сравнение кривых Precision–Recall
| Команда: | Статистика Кривые ROCСравнение кривых Precision-Recall |
|---|
Кривая Precision–Recall (кривая «точность — полнота») — это график точности (precision, прогностическая ценность положительного результата, ось y) в зависимости от полноты (recall, чувствительность, ось x) при различных пороговых значениях. Она является альтернативой кривой ROC (Saito & Rehmsmeier, 2015).
В процедуре MedCalc «Сравнение кривых Precision–Recall» строятся кривые Precision–Recall для двух зависимых или независимых переменных. «Зависимые переменные» означает, что данные двух переменных получены от одних и тех же случаев (субъектов, образцов, пациентов, …) и поэтому являются парными.
MedCalc строит кривые Precision–Recall по исходным данным (а не по таблице «чувствительность — PPV») и вычисляет разность между площадями под двумя кривыми вместе с 95% бутстреп-доверительным интервалом BCa для этой разности.
Порядок ввода данных для кривой Precision–Recall
Чтобы построить кривые Precision–Recall, необходимо иметь два интересующих измерения (= параметры, которые вы хотите исследовать) и независимый диагноз, разделяющий субъектов исследования на две различные группы: группу больных и группу здоровых. Этот диагноз должен быть независим от интересующих измерений.
В электронной таблице создайте столбец Classification и два столбца для интересующих переменных, например Param1 и Param2. Для каждого субъекта исследования введите код классификации следующим образом: 1 — для больных, 0 — для здоровых (нормальных) случаев. В столбцах Param1 и Param2 введите интересующие измерения для каждого случая в той же строке (это могут быть результаты измерений, степени и т. п.; если данные категориальные, закодируйте их числовыми значениями).
| A | B | C | D | |
|---|---|---|---|---|
| Classification | Param1 | Param2 | ||
| 1 | 1 | 23,7 | 32,2 | |
| 2 | 0 | 18,9 | 32,1 | |
| 3 | 1 | 19,9 | 27,7 | |
| 4 | 1 | 25,6 | 36,9 | |
| 5 | 1 | 19,9 | 40,6 | |
| 6 | 1 | 22,1 | 34,5 | |
| 7 | 0 | 20,4 | 28,9 | |
| 8 | 0 | 19,9 | 24,7 |
Необходимые входные данные
- Переменные: выберите две интересующие переменные.
- Классификационная переменная: выберите дихотомическую переменную, указывающую диагноз (0 = отрицательный, 1 = положительный).
Если данные закодированы иначе, их можно перекодировать с помощью инструмента Определить статус.
Важно правильно определить положительные случаи.
- Фильтр: (необязательно) фильтр, позволяющий включить только выбранную подгруппу случаев (например, AGE>21, SEX="Male").
- Параметры:
- Данные получены от одних и тех же субъектов (парные данные): выберите этот параметр, если две переменные содержат данные, полученные от одних и тех же субъектов. Если два набора данных получены от разных субъектов, парный план отсутствует, и этот параметр следует снять. Это различие важно, поскольку статистическая мощность критерия для модели парных выборок отличается от мощности для модели независимых выборок.
- Доверительный интервал бутстрепа: выберите этот параметр, чтобы вычислить доверительный интервал для разности площадей под кривыми Precision–Recall (AUPRC) методом бутстрепа.
- Дополнительно: нажмите эту кнопку, чтобы задать параметры бутстрепа: число повторений и начальное значение генератора случайных чисел.
- Диаграмма:
- Параметр, позволяющий отметить точки, соответствующие значениям критерия.
Результаты — парные выборки
Переменная 1 | Param1 |
|---|---|
Переменная 2 | Param2 |
Классификационная переменная | Classification |
| Объем выборки | 100 |
|---|---|
Положительная группа a | 34 (34.00%) |
Отрицательная группа b | 66 (66.00%) |
a Classification = 1
b Classification = 0
Кривая Precision-Recall
Переменная | Param1 | Param2 |
|---|---|---|
Площадь под кривой | 0.735 | 0.824 |
Доверительный интервал 95% | от 0.564 до 0.856 | от 0.659 до 0.919 |
F1max | 0.718 | 0.759 |
Связанный критерий | >21.4 | >33.7 |
Сравнение парных кривых Precision-Recall
Разность площадей | 0.08888 |
|---|---|
95% доверительный интервал Bootstrap a | от 0.007429 до 0.2291 |
a BCa доверительный интервал бутстрепа (итераций: 5000; зерно для генерации случайных чисел: 978).
  |
Сначала MedCalc приводит для каждой переменной следующие статистические показатели:
- Объемы выборок в положительной и отрицательной группах.
- Площадь под кривой Precision–Recall (AUPRC), вычисленная с помощью нелинейной интерполяции (Davis & Goadrich, 2006).
- F1max: F1-показатель — это мера точности теста, равная среднему гармоническому точности (precision) и полноты (recall). Он вычисляется для каждого уровня измерения, а F1max — максимальный F1-показатель по всем уровням измерения.
$$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
- Связанный критерий: критерий (уровень измерения), при котором достигается F1max.
- 95% доверительный интервал для AUPRC, который вычисляется следующим образом (Boyd et al, 2013; логит-метод):
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$
где
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
См. также примечание о значениях критерия.
Результаты — независимые выборки
Отчет для независимых выборок несколько отличается, но по существу содержит те же статистические показатели.
Переменная 1 | Param1 |
|---|---|
Переменная 2 | Param2 |
Классификационная переменная | Classification |
Кривая Precision-Recall
Переменная | Param1 | Param2 |
|---|---|---|
Общий объем выборки | 100 | 100 |
Положительная группа a | 34 (34.00%) | 34 (34.00%) |
Отрицательная группа b | 66 (66.00%) | 66 (66.00%) |
Площадь под кривой | 0.735 | 0.824 |
Доверительный интервал 95% | от 0.564 до 0.856 | от 0.659 до 0.919 |
F1max | 0.718 | 0.759 |
Связанный критерий | >21.4 | >33.7 |
a Classification = 1
b Classification = 0
Сравнение независимых кривых Precision-Recall
Разность площадей | 0.08888 |
|---|---|
95% доверительный интервал Bootstrap a | от -0.07367 до 0.2743 |
a BCa доверительный интервал бутстрепа (итераций: 5000; зерно для генерации случайных чисел: 978).
| |
Сравнение двух кривых Precision–Recall
MedCalc приводит:
- Разность между двумя площадями под кривыми Precision–Recall (AUPRC).
- 95% бутстреп-доверительный интервал BCa для этой разности, если был выбран соответствующий параметр. Если доверительный интервал не включает 0, можно сделать вывод, что две площади значимо различаются (P < 0,05).
Диаграмма
Если был выбран параметр, позволяющий отметить на диаграмме точки, соответствующие значениям критерия, то при щелчке по маркеру отображается соответствующий критерий (положительности) вместе с полнотой (чувствительностью), точностью (прогностической ценность положительного результатаю) и F1-показателем.
Литература
- Boyd K, Eng KH, Page CD (2013) Area under the Precision–Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
