適合率–再現率曲線の比較
| コマンド: | 統計 ROC曲線適合率–再現率曲線の比較 |
|---|
適合率–再現率（Precision-Recall）曲線は、さまざまなしきい値について、適合率（陽性適中度、y 軸）を再現率（感度、x 軸）に対してプロットしたものです。ROC曲線の代替法です（Saito & Rehmsmeier, 2015）。
MedCalc の適合率–再現率曲線の比較の手順では、2 つの従属変数または独立変数の適合率–再現率曲線を作成します。「従属変数」とは、2 つの変数のデータが同じケース（被験者、検体、患者など）から得られたもの、すなわち対応のあるデータであることを意味します。
MedCalc は、生データから（感度と PPV の表からではなく）適合率–再現率曲線を作成し、2 つの曲線下面積の差と、その差の 95% BCa ブートストラップ信頼区間を計算します。
適合率–再現率曲線のためのデータの入力方法
適合率–再現率曲線を作成するには、関心のある 2 つの測定値（= 調べたいパラメーター）と、被験者を疾患ありと疾患なしの 2 つの異なる群に分類する独立した診断が必要です。この診断は、関心のある測定値とは独立している必要があります。
スプレッドシートに Classification の列と、関心のある変数の 2 つの列（Param1 と Param2 など）を作成します。各被験者について、分類コードを次のように入力します。疾患のあるケースは 1、疾患のないケースまたは正常なケースは 0 です。Param1 と Param2 の列には、各ケースの関心のある測定値を同じ行に入力します（測定結果、グレードなどを入力できます。データがカテゴリー型の場合は数値でコード化します）。
| A | B | C | D | |
|---|---|---|---|---|
| Classification | Param1 | Param2 | ||
| 1 | 1 | 23.7 | 32.2 | |
| 2 | 0 | 18.9 | 32.1 | |
| 3 | 1 | 19.9 | 27.7 | |
| 4 | 1 | 25.6 | 36.9 | |
| 5 | 1 | 19.9 | 40.6 | |
| 6 | 1 | 22.1 | 34.5 | |
| 7 | 0 | 20.4 | 28.9 | |
| 8 | 0 | 19.9 | 24.7 |
必要な入力
- 変数：関心のある 2 つの変数を選択します。
- 分類変数：診断を示す二値変数（0=陰性、1=陽性）を選択します。
データのコード化が異なる場合は、状態を定義するツールを使用してデータを再コード化できます。
陽性ケースを正しく識別することが重要です。
- フィルター：（任意）選択したケースのサブグループだけを含めるためのフィルター（例：AGE>21、SEX="Male"）。
- オプション：
- データは同じ被験者から取得されています（対応のあるデータ）：2 つの変数に同じ被験者から得られたデータが含まれている場合は、このオプションを選択します。2 組のデータが異なる被験者から得られたもので、対応のあるデザインでない場合は、このオプションをオフにします。対応のあるサンプルのモデルと独立サンプルのモデルでは検定の検出力が異なるため、この区別は重要です。
- ブートストラップ信頼区間：ブートストラップ法によって適合率–再現率曲線下面積（AUPRC）の差の信頼区間を計算するには、このオプションを選択します。
- 詳細：このボタンをクリックして、ブートストラップのパラメーター、すなわち反復回数と乱数シードを指定します。
- グラフ：
- 基準値に対応する点をマークするオプション。
結果 - 対応のあるサンプル
変数 1 | Param1 |
|---|---|
変数 2 | Param2 |
分類変数 | Classification |
| サンプルサイズ | 100 |
|---|---|
陽性群 a | 34 (34.00%) |
陰性群 b | 66 (66.00%) |
a Classification = 1
b Classification = 0
適合率–再現率曲線
変数 | Param1 | Param2 |
|---|---|---|
曲線下面積 | 0.735 | 0.824 |
95% 信頼区間 | 0.564 から 0.856 | 0.659 から 0.919 |
F1max | 0.718 | 0.759 |
対応する基準 | >21.4 | >33.7 |
対応のある適合率–再現率曲線の比較
領域間の差 | 0.08888 |
|---|---|
95% ブートストラップ信頼区間 a | 0.007429 から 0.2291 |
a BCa ブートストラップ信頼区間(反復数5000; 乱数シード: 978)。
  |
MedCalc はまず、各変数について次の統計量を報告します。
- 陽性群と陰性群のサンプルサイズ。
- 非線形補間によって計算された適合率–再現率曲線下面積（AUPRC）（Davis & Goadrich, 2006）。
- F1max：F1 スコアは検査の正確度を示す尺度で、適合率と再現率の調和平均です。各測定レベルで計算され、F1max はすべての測定レベルにわたる F1 スコアの最大値です。
$$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
- 対応する基準：F1max に達した基準（測定レベル）。
- AUPRC の 95% 信頼区間。次のように計算されます（Boyd et al, 2013; ロジット法）。
$$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$
ここで、
$$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$
基準値に関する注記も参照してください。
結果 - 独立サンプル
独立サンプルのレポートは少し異なりますが、基本的には同じ統計量が含まれます。
変数 1 | Param1 |
|---|---|
変数 2 | Param2 |
分類変数 | Classification |
適合率–再現率曲線
変数 | Param1 | Param2 |
|---|---|---|
合計サンプルサイズ | 100 | 100 |
陽性群 a | 34 (34.00%) | 34 (34.00%) |
陰性群 b | 66 (66.00%) | 66 (66.00%) |
曲線下面積 | 0.735 | 0.824 |
95% 信頼区間 | 0.564 から 0.856 | 0.659 から 0.919 |
F1max | 0.718 | 0.759 |
対応する基準 | >21.4 | >33.7 |
a Classification = 1
b Classification = 0
独立した適合率–再現率曲線の比較
領域間の差 | 0.08888 |
|---|---|
95% ブートストラップ信頼区間 a | -0.07367 から 0.2743 |
a BCa ブートストラップ信頼区間(反復数5000; 乱数シード: 978)。
| |
2 本の適合率–再現率曲線の比較
MedCalc は次の内容を報告します。
- 2 本の適合率–再現率曲線下面積（AUPRC）の差。
- 該当するオプションを選択した場合は、この差の 95% BCa ブートストラップ信頼区間。信頼区間に 0 が含まれない場合、2 つの面積は有意に異なると結論づけることができます（P<0.05）。
グラフ
グラフで基準値に対応する点をマークするオプションを選択した場合、マーカーをクリックすると、対応する基準（陽性と判定する基準）とともに、再現率（感度）、適合率（陽性適中度）、F1 スコアが表示されます。
文献
- Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
- Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
- Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
- Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
- Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.
