精确率–召回率曲线
| 命令: | 统计 ROC 曲线精确率–召回率曲线 |
|---|
精确率–召回率（Precision-Recall）曲线是针对不同阈值，将精确率（阳性预测值，y 轴）对召回率（灵敏度，x 轴）作图得到的曲线。它是 ROC 曲线的一种替代方法（Saito & Rehmsmeier, 2015）。
MedCalc 由原始数据（而不是灵敏度和 PPV 表）创建精确率–召回率曲线。
如何为精确率–召回率曲线输入数据
要创建精确率–召回率曲线，需要感兴趣的测量值（= 要研究的参数），以及将受试者分为患病和未患病两个不同组的独立诊断。该诊断必须独立于感兴趣的测量值。
在电子表格中，为 Classification 创建一列，为感兴趣的变量（例如 Param）创建一列。对于每个受试者，按如下方式输入分类代码：患病个案输入 1，未患病或正常个案输入 0。在 Param 列中输入感兴趣的测量值（可以是测量值、等级等；如果数据是分类数据，请用数值编码）。
数据
| A | B | C | |
|---|---|---|---|
| Classification | Param | ||
| 1 | 1 | 40.5 | |
| 2 | 0 | 35.5 | |
| 3 | 1 | 32.5 | |
| 4 | 1 | 43 | |
| 5 | 1 | 33.5 | |
| 6 | 1 | 35.5 | |
| 7 | 0 | 37 | |
| 8 | 0 | 38.5 | |
| 9 | 0 | 34 |
所需输入
- 变量：选择感兴趣的变量。
- 分类变量：选择表示诊断的二分类变量（0=阴性，1=阳性）。
如果数据编码不同，可以使用定义状态工具对数据重新编码。
正确识别阳性个案非常重要。
- 筛选条件：（可选）用于只包含所选个案亚组的筛选条件（例如 AGE>21、SEX="Male"）。
- 图表选项：
- 标记与临界值对应的点的选项。
结果
精确率–召回率曲线
变量 | Param |
|---|---|
分类变量 | Classification |
| 样本量 | 100 |
|---|---|
阳性组 a | 34 (34.00%) |
阴性组 b | 66 (66.00%) |
a Classification = 1
b Classification = 0
精确率–召回率曲线
曲线下面积 | 0.565 |
|---|---|
95%的置信区间 | 0.398至0.719 |
F1max | 0.588 |
对应临界值 | ≤41 |
  |
MedCalc 报告以下内容：
- 阳性组和阴性组的样本量。
- 通过非线性插值计算的精确率–召回率曲线下面积（AUPRC）（Davis & Goadrich, 2006）。
- F1max：F1 分数是衡量检验准确度的指标，是精确率和召回率的调和平均数。它在每个测量水平上计算，F1max 是所有测量水平上 F1 分数的最大值。
$$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
- 对应临界值：达到 F1max 的临界值（测量水平）。
- AUPRC 的 95% 置信区间，按如下方式计算（Boyd et al, 2013；logit 法）：
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$
其中
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
另请参阅关于临界值的说明。
图表
如果选择了在图表中标记与临界值对应的点的选项，单击某个标记即可显示对应的临界值（判定为阳性的标准）以及召回率（灵敏度）、精确率（阳性预测值）和 F1 分数。
参考文献
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
