ROC 曲線分析

命令:	統計 ROC 曲線 ROC 曲線分析

ROC（Receiver Operating Characteristic，受試者工作特徵）曲線分析是一種評估二元分類器或診斷偵測在所有可能決策閾值下之效能的方法。這種方法廣泛應用於醫學領域，也應用於機器學習、訊號偵測，以及任何需要區分兩種類別（有病與無病、垃圾郵件與非垃圾郵件等）的場合。ROC 曲線是評估診斷偵測效能的基本工具。

什麼是 ROC 曲線？

ROC 曲線是以真陽性率（敏感度）對假陽性率（100-特異度）作圖，涵蓋某參數所有可能的切點。ROC 曲線上的每一點都代表對應某一特定決策閾值的敏感度／特異度組合。ROC 曲線下面積（AUC）用以衡量某參數區分兩個診斷群組（患病／正常）的能力。

理論概要

偵測的診斷效能，或偵測區分患病個案與正常個案的準確度，可透過受試者工作特徵（ROC）曲線分析來評估（Metz, 1978；Zweig & Campbell, 1993）。ROC 曲線也可用於比較兩種或多種實驗室或診斷偵測的診斷效能（Griner et al., 1981）。

當您在兩個族群（其中一組患病，另一組未患病）中檢視某一特定偵測的結果時，很少會觀察到兩組之間完全分離的情形。事實上，兩組偵測結果的分布會有重疊，如下圖所示。

對於您選擇用來區分兩個族群的每一個可能切點或臨界值，患病個案中會有部分被正確分類為陽性（TP = 真陽性比例），但也會有部分患病個案被分類為陰性（FN = 假陰性比例）。另一方面，未患病個案中會有部分被正確分類為陰性（TN = 真陰性比例），但也會有部分未患病個案被分類為陽性（FP = 假陽性比例）。

偵測結果的示意概況

各種比例（TP、FP、TN、FN）如下表所示。

以下可定義相關統計量：

• 敏感度：患病時偵測結果為陽性的機率（真陽性率，以百分比表示）。
  $$ 敏感度 = \frac { a } { a + b} $$
• 特異度：未患病時偵測結果為陰性的機率（真陰性率，以百分比表示）。
  $$ 特異度 = \frac { d } { c + d} $$
• 陽性概似比：在患病的情況下偵測結果為陽性的機率，與在未患病的情況下偵測結果為陽性的機率之比值，即
  $$ +LR = \frac { 真陽性率 } { 假陽性率 } = \frac { 敏感度} { 1 - 特異度} $$
• 陰性概似比：在患病的情況下偵測結果為陰性的機率，與在未患病的情況下偵測結果為陰性的機率之比值，即
  $$ -LR = \frac { 假陰性率 } { 真陰性率 } = \frac { 1 - 敏感度} { 特異度} $$
• 陽性預測值：偵測結果為陽性時，確實患病的機率（以百分比表示）。
  $$ PPV = \frac { a } { a + c} $$
• 陰性預測值：偵測結果為陰性時，確實未患病的機率（以百分比表示）。
  $$ NPV = \frac { d } { b + d} $$

敏感度與特異度隨切點值之變化

當您選擇較高的切點值時，假陽性比例會因特異度提高而下降，但另一方面真陽性比例與敏感度則會下降：

當您選擇較低的閾值時，真陽性比例與敏感度會上升。另一方面，假陽性比例也會上升，因此真陰性比例與特異度會下降。

ROC 曲線

在受試者工作特徵（ROC）曲線中，真陽性率（敏感度）是以假陽性率（100-特異度）為函數，針對不同切點繪製而成。ROC 曲線上的每一點都代表對應某一特定決策閾值的敏感度／特異度組合。若某偵測具有完美的區分能力（兩個分布完全不重疊），其 ROC 曲線會通過左上角（敏感度 100%、特異度 100%）。因此 ROC 曲線越接近左上角，該偵測的整體準確度就越高（Zweig & Campbell, 1993）。

如何輸入 ROC 曲線分析的資料

若要在 MedCalc 中執行 ROC 曲線分析，您需要一個感興趣的測量值（= 您想研究的參數），以及一個獨立的診斷結果，用以將研究對象分為兩個不同的群組：患病組與非患病組。後者的診斷應獨立於感興趣的測量值之外。

例如，在試算表中建立一個 DIAGNOSIS 欄，以及一個用於感興趣變數的欄，例如 TEST1。針對每一位研究對象，依下列方式輸入診斷代碼：患病個案輸入 1，非患病或正常個案輸入 0。在 TEST1 欄中，輸入感興趣的測量值（可以是測量數值、等級等——若資料為類別型，請以數值代碼表示）。

資料

A1

1

	A	B	C
	DIAGNOSIS	TEST1
1	1	112.7
2	1	104.0
3	1	126.7
4	1	123.3
5	1	120.5
6	1	130.3
7	1	129.6
8	0	97.9
9	0	94.9
10	1	140.2
11	1	119.7
12	0	98.6
13	0	77.3

所需輸入

請依下列方式完成 ROC 曲線分析對話方塊：

資料

• 變數：選擇感興趣的變數。此變數包含您想取得偵測特性的診斷偵測結果。
• 類別變數：選擇或輸入一個表示診斷的二分變數（0=陰性，1=陽性）。
  若您的資料編碼方式不同，可使用定義狀態工具重新編碼資料。
• 篩選條件：（選擇性）用於僅納入選定次群組個案的篩選條件（例如 AGE>21、SEX="Male"）。

方法學

• DeLong et al.：使用 DeLong et al.（1988）的方法計算曲線下面積的標準誤（建議使用）。
• Hanley & McNeil：使用 Hanley & McNeil（1982）的方法計算曲線下面積的標準誤。
• AUC 的二項式精確信賴區間：計算曲線下面積的精確二項式信賴區間（建議使用）。若未選取此選項，信賴區間將以 AUC ± 1.96 倍標準誤計算。

疾病盛行率

雖然敏感度與特異度（因此 ROC 曲線本身），以及陽性與陰性概似比皆與疾病盛行率無關，但陽性與陰性預測值則高度取決於疾病盛行率或疾病的事前機率。因此當疾病盛行率未知時，程式無法計算陽性與陰性預測值。

臨床上，疾病盛行率等同於偵測執行前疾病存在的機率（疾病的事前機率）。

• 未知：當疾病盛行率未知，或與目前的統計分析無關時，選擇此選項。
• 陽性組與陰性組的個案比例反映疾病盛行率：若陽性組與陰性組的樣本數能反映族群中疾病的實際盛行率，可選擇此選項來表示。
• 其他數值（%）：您也可以直接輸入疾病盛行率的數值，以百分比表示。

選項

• 列出切點值與偵測特性：建立一份切點值清單，對應 ROC 曲線上的座標，並附上相關的敏感度、特異度、概似比與預測值（若疾病盛行率已知）。
  • 包含所有觀察到的切點值：選擇此選項時，程式會列出所有可能閾值的敏感度與特異度。若未選取此選項，程式僅會列出 ROC 曲線中較重要的點：對於相同的敏感度／特異度，會給出具有最高特異度／敏感度的閾值（切點值）。
• 敏感度／特異度、概似比與預測值的 95% 信賴區間：選擇您所需要的信賴區間。
• 計算考量成本之最佳切點值：計算最佳切點值時，會將疾病盛行率，以及偽陽性、真陽性、偽陰性與真陰性決策的成本納入考量（Zweig & Campbell, 1993）。此選項僅在疾病盛行率已知時才可使用（見上文）。
  • FPc：假陽性決策的成本。
  • FNc：假陰性決策的成本。
  • TPc：真陽性決策的成本。
  • TNc：真陰性決策的成本。
  這些資料用於計算參數 S，公式如下：
  $$ S = \left ( \frac {FP_c - TN_c} {FN_c - TP_c} \right ) \times \left ( \frac {1-P} {P} \right ) $$
  其中 P 表示目標族群中的盛行率（Greiner et al., 2000）。在 ROC 曲線上，斜率為 S 的直線與曲線相切之點，即為考量盛行率與各項決策成本後的最佳操作點。

  成本可以是財務成本或健康成本，但 4 項成本因子都必須以共同的尺度表示。效益可以用負成本表示。假設判斷為假陰性（FN）的成本被認為是假陽性（FP）成本的兩倍，且不對真陽性與真陰性決策的成本做任何假設，則 FNc 輸入 2，FPc 輸入 1，TPc 與 TNc 皆輸入 0。

  由於斜率 S 必須為正數：

  • FPc 不可等於 TNc
  • FNc 不可等於 TPc
  • 當 TNc 大於 FPc 時，TPc 必須大於 FNc
  • 當 TNc 小於 FPc 時，TPc 必須小於 FNc

  當 (FPc-TNc)/(FNc-TPc) 的值為 1 時，即 FPc-TNc 等於 FNc-TPc 時，參數 S 為「成本中立」。在此情況下，S 與「最佳切點值」僅取決於疾病盛行率。

• 進階：按一下此按鈕可設定一些進階選項：
  這些選項需要進行拔靴法運算，計算量較大且較耗時。
  • 在固定的特異度與敏感度下估計敏感度與特異度：編製一份表格，對於固定且預先指定的特異度與敏感度 80%、90%、95% 與 97.5%，估計對應的敏感度與特異度，並附上 BC_a 拔靴法 95% 信賴區間（Efron, 1987；Efron & Tibshirani, 1993）（Zhou et al., 2002）。
  • 拔靴法 Youden 指數信賴區間：計算 Youden 指數及其對應切點值的 BC_a 拔靴法 95% 信賴區間。
  • 拔靴法重複次數：輸入拔靴法的重複次數。文獻中常見的重複次數為 1000 次。次數越多準確度越高，但處理時間也會增加。
  • 亂數種子：這是亂數產生器所使用的種子值。輸入 0 表示使用隨機種子；這可能導致重複執行此程序時得到不同的信賴區間。輸入其他任何數值，則會產生可重現的「隨機」序列，使信賴區間的結果可重現。

ROC 圖形

• 選擇顯示 ROC 曲線視窗可在另一個視窗中取得圖形。
  選項：
  • 標記對應切點值的點。
  • 顯示 ROC 曲線的 95% 信賴界限（Hilgers, 1991）。

ROC 曲線的結果與解讀

樣本數

程式首先會顯示兩組的觀察值數目。關於樣本數，有學者建議，在約 100 個觀察值的總樣本下進行的 ROC 實驗，即可得出具有意義的定性結論（Metz, 1978）。

ROC 曲線下面積

MedCalc 會回報 ROC 曲線下面積，並附上標準誤與 95% 信賴區間。

ROC 曲線下面積（AUC）可解讀為（Zhou, Obuchowski & McClish, 2002）：

• 在所有可能的特異度數值下，敏感度的平均值；
• 在所有可能的敏感度數值下，特異度的平均值；
• 從陽性組中隨機選取一個體，其偵測結果顯示的可疑程度高於從陰性組中隨機選取的個體的機率。

當研究中的變數無法區分兩個群組，亦即兩個分布之間沒有差異時，面積將等於 0.5（ROC 曲線將與對角線重合）。當兩組數值完全分離，亦即兩個分布完全不重疊時，ROC 曲線下面積等於 1（ROC 曲線會到達圖形的左上角）。

95% 信賴區間是指真實（族群）ROC 曲線下面積以 95% 信心水準落於其中的區間。

顯著水準或 P 值，是指在真實（族群）ROC 曲線下面積確實為 0.5（虛無假設：面積 = 0.5）的情況下，觀察到樣本 ROC 曲線下面積的機率。若 P 值很小（P<0.05），則可推論 ROC 曲線下面積與 0.5 有顯著差異，因此有證據顯示該實驗室偵測確實具有區分兩組的能力（Hanley & McNeil, 1982；Zweig & Campbell, 1993）。

Youden 指數

Youden 指數會與其 95% 信賴區間及相關切點一併回報。

Youden 指數 J（Youden, 1950）定義如下：

其中 c 涵蓋所有可能的切點值。

以圖形表示，J 是 ROC 曲線與對角線之間的最大垂直距離。

僅當疾病盛行率為 50%、敏感度與特異度被賦予相同權重，且忽略各項決策的成本時，對應 Youden 指數 J 的切點值才是最佳切點值。

當已選取相對應的進階選項時，MedCalc 會為 Youden 指數及其對應的切點值計算 BC_a 拔靴法 95% 信賴區間（Efron, 1987；Efron & Tibshirani, 1993）。

切點值

MedCalc 不會單純回報閾值或切點值，而是會依據較高數值表示患病、或較低數值表示患病，回報附有比較符號（> 或 ≤）的切點值。

請參閱切點值的說明。

最佳切點

此面板僅在疾病盛行率與成本參數皆為已知時才會顯示。

最佳切點值不僅考量敏感度與特異度，也考量疾病盛行率與各項決策的成本。當這些資料已知時，MedCalc 會計算最佳切點及其對應的敏感度與特異度。當已選取相對應的進階選項時，MedCalc 也會為這些參數計算 BC_a 拔靴法 95% 信賴區間（Efron, 1987；Efron & Tibshirani, 1993）。

當某偵測用於篩檢目的或排除某項診斷可能性時，可能會選擇敏感度較高的切點值；而當某偵測用於確認疾病時，則可能需要較高的特異度。

摘要表

此面板僅在已選取相對應的進階選項時才會顯示。

摘要表顯示在固定且預先指定的敏感度 80、90、95 與 97.5% 下所估計的特異度，以及在固定且預先指定的特異度下所估計的敏感度（Zhou et al., 2002），並附上對應的切點值。

信賴區間為 BC_a 拔靴法 95% 信賴區間（Efron, 1987；Efron & Tibshirani, 1993）。

切點值與 ROC 曲線座標

結果視窗中的此部分列出不同的篩選條件或切點值，並附上偵測相應的敏感度與特異度，以及陽性（+LR）與陰性概似比（-LR）。當疾病盛行率已知時，程式也會回報陽性預測值（+PV）與陰性預測值（-PV）。

若您未選取包含所有觀察到的切點值選項，程式僅會列出 ROC 曲線中較重要的點：對於相同的敏感度（或特異度），會給出具有最高特異度（或敏感度）的閾值（切點值）。若您選取包含所有觀察到的切點值選項，程式會列出所有可能閾值的敏感度與特異度。

• 敏感度（可選附 95% 信賴區間）：患病時偵測結果為陽性的機率（真陽性率）。
• 特異度（可選附 95% 信賴區間）：未患病時偵測結果為陰性的機率（真陰性率）。
• 陽性概似比（可選附 95% 信賴區間）：在患病的情況下偵測結果為陽性的機率，與未患病的情況下偵測結果為陽性的機率之比值。
• 陰性概似比（可選附 95% 信賴區間）：在患病的情況下偵測結果為陰性的機率，與未患病的情況下偵測結果為陰性的機率之比值。
• 陽性預測值（可選附 95% 信賴區間）：偵測結果為陽性時，確實患病的機率。
• 陰性預測值（可選附 95% 信賴區間）：偵測結果為陰性時，確實未患病的機率。
• 成本^*：在該決策水準下使用此診斷偵測所產生的平均成本。請注意，此處回報的成本不包含「額外成本」，即執行偵測本身的成本，此項成本在所有決策水準下皆為固定值。
  ^*此欄僅在疾病盛行率與成本參數皆為已知時才會顯示。

敏感度、特異度、陽性與陰性預測值，以及疾病盛行率皆以百分比表示。

敏感度與特異度的信賴區間為「精確」Clopper–Pearson 信賴區間。

概似比的信賴區間依 Altman et al. 2000 第 109 頁所述之「對數法」計算。

預測值的信賴區間為 Mercaldo et al. 2007 所提出的標準 logit 信賴區間。

ROC 曲線

當您在對話方塊中選取相對應的選項時，ROC 曲線會顯示在第二個視窗中。

在 ROC 曲線中，真陽性率（敏感度）是以假陽性率（100-特異度）為函數，針對不同切點繪製而成。ROC 曲線上的每一點都代表對應某一特定決策閾值的敏感度／特異度組合。若某偵測具有完美的區分能力（兩個分布完全不重疊），其 ROC 曲線會通過左上角（敏感度 100%、特異度 100%）。因此 ROC 曲線越接近左上角，該偵測的整體準確度就越高（Zweig & Campbell, 1993）。

當您點選 ROC 曲線上的某一特定點時，會顯示對應切點的敏感度與特異度。

以下是選擇包含 95% 信賴邊界選項後的 ROC 曲線：

結果的呈現

疾病盛行率在不同臨床情境下可能有所不同。例如，當病人求診於專科醫師時，偵測陽性的事前機率會高於求診於一般科醫師的情況。由於陽性與陰性預測值對疾病盛行率相當敏感，若比較盛行率不同之研究的這些數值，或將其套用於不同情境，皆可能造成誤導。

結果視窗中的資料可整理成表格呈現。應清楚註明兩組的樣本數。表格可包含不同切點值的欄位、對應的敏感度（附 95% CI）、特異度（附 95% CI），以及（若可能）陽性與陰性預測值。表格不應僅包含單一切點值的偵測特性，而宜針對敏感度 90%、95% 與 97.5%，特異度 90%、95% 與 97.5%，以及對應 Youden 指數或最高準確度之數值，分別列出一列。

有了這些資料，任何讀者只要知道其自身臨床情境下疾病的事前機率（偵測前機率或疾病盛行率），即可依下列以貝氏定理為基礎的公式，計算適用於該情境的陰性與陽性預測值：

以及

陰性與陽性概似比必須謹慎處理，因為它們很容易也經常被誤解。

參考文獻

• DeLong ER, DeLong DM, Clarke-Pearson DL (1988) Comparing the areas under two or more correlated receiver operating characteristic curves: a non-parametric approach. Biometrics 44:837-845.
• Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
• Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
• Greiner M, Pfeiffer D, Smith RD (2000) Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 45:23-41.
• Griner PF, Mayewski RJ, Mushlin AI, Greenland P (1981) Selection and interpretation of diagnostic tests and procedures. Annals of Internal Medicine 94:555-600.
• Hanley JA, Hajian-Tilaki KO (1997) Sampling variability of non-parametric estimates of the areas under receiver operating characteristic curves: an update. Academic Radiology 4:49-58.
• Hanley JA, McNeil BJ (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143:29-36.
• Hilgers RA (1991) Distribution-free confidence bounds for ROC curves. Methods of Information in Medicine 30:96-101.
• Mercaldo ND, Lau KF, Zhou XH (2007) Confidence intervals for predictive values with an emphasis to case-control studies. Statistics in Medicine 26:2170-2183.
• Metz CE (1978) Basic principles of ROC analysis. Seminars in Nuclear Medicine 8:283-298.
• Youden WJ (1950) Index for rating diagnostic tests. Cancer 3:32-35.
• Zhou XH, Obuchowski NA, McClish DK (2002) Statistical methods in diagnostic medicine. Wiley-Interscience.
• Zweig MH, Campbell G (1993) Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577.

另請參閱

• 樣本數計算：ROC 曲線下面積
• 互動式點圖
• 對切點值作圖
• 預測值
• 區間概似比
• ROC 曲線比較（相關 ROC 曲線，源自相同個案）
• 獨立 ROC 曲線比較（次群組的 ROC 曲線）
• 格式化圖形
• 圖例
• 新增圖形物件
• 參考線

外部連結

• Receiver operating characteristic（維基百科）。