Ana içeriğe geç
MedCalc

ROC eğrisi analizi

ROC (Receiver Operating Characteristic) eğrisi analizi, olası tüm karar eşiklerinde bir ikili sınıflandırıcının veya tanısal testin performansını değerlendirmek için kullanılan bir yöntemdir. Tıpta yaygın olarak kullanılmasının yanı sıra, makine öğrenmesinde, sinyal tespitinde ve iki sınıf arasında ayrım yapılması gereken her ortamda (hastalık var/yok, spam/spam değil, vb.) kullanılır. ROC eğrisi, tanısal test değerlendirmesi için temel bir araçtır.

ROC eğrisi nedir?

Bir ROC eğrisi, bir parametrenin farklı kesme noktaları için gerçek pozitif oranının (Duyarlılık), yanlış pozitif orana (100-Özgüllük) göre çizilen grafiğidir. ROC eğrisi üzerindeki her nokta, belirli bir karar eşiğine karşılık gelen bir duyarlılık/özgüllük çiftini temsil eder. ROC eğrisi altındaki alan (AUC), bir parametrenin iki tanısal grubu (hasta/normal) ne kadar iyi ayırt edebildiğinin bir ölçüsüdür.

Teori özeti

Bir testin tanısal performansı veya hasta olguları normal olgulardan ayırt etme doğruluğu, Alıcı İşletim Karakteristiği (ROC) eğrisi analizi kullanılarak değerlendirilir (Metz, 1978; Zweig ve Campbell, 1993). ROC eğrileri, iki veya daha fazla laboratuvar veya tanısal testin tanısal performansını karşılaştırmak için de kullanılabilir (Griner ve ark., 1981).

Belirli bir testin sonuçlarını, biri hastalığa sahip diğeri hastalığa sahip olmayan iki popülasyonda incelediğinizde, iki grup arasında mükemmel bir ayrım gözlemlemeniz nadirdir. Nitekim, aşağıdaki şekilde gösterildiği gibi, test sonuçlarının dağılımları birbiriyle örtüşecektir.

Ölçüt değeri değiştirildiğinde gerçek negatif, yanlış negatif, gerçek pozitif ve yanlış pozitif fraksiyonları değişir.

İki popülasyon arasında ayrım yapmak için seçtiğiniz her olası kesme noktası veya ölçüt değeri için, hastalığı olan bazı olgular doğru şekilde pozitif olarak sınıflandırılacaktır (TP = Gerçek Pozitif fraksiyonu), ancak hastalığı olan bazı olgular negatif olarak sınıflandırılacaktır (FN = Yanlış Negatif fraksiyonu). Öte yandan, hastalığı olmayan bazı olgular doğru şekilde negatif olarak sınıflandırılacaktır (TN = Gerçek Negatif fraksiyonu), ancak hastalığı olmayan bazı olgular pozitif olarak sınıflandırılacaktır (FP = Yanlış Pozitif fraksiyonu).

Bir testin şematik sonuçları

Farklı fraksiyonlar (TP, FP, TN, FN) aşağıdaki tabloda gösterilmiştir.

 Hastalık        
TestVarn  Yokn  Toplam
PozitifGerçek Pozitif (TP)a  Yanlış Pozitif (FP) c a + c
NegatifYanlış Negatif (FN)b   Gerçek Negatif (TN)d   b + d
Toplam a + b   c + d   

Aşağıdaki istatistikler tanımlanabilir:

Duyarlılık
a
a + b
  Özgüllük
d
c + d
Pozitif
Olabilirlik
Oranı
Duyarlılık
1 - Özgüllük
  Negatif
Olabilirlik
Oranı
1 - Duyarlılık
Özgüllük
Pozitif
Prediktif
Değer
a
a + c
  Negatif
Prediktif
Değer
d
b + d
  • Duyarlılık: hastalık mevcut olduğunda bir test sonucunun pozitif olma olasılığıdır (gerçek pozitif oranı, yüzde olarak ifade edilir).
    $$ Duyarlılık = \frac { a } { a + b} $$
  • Özgüllük: hastalık mevcut olmadığında bir test sonucunun negatif olma olasılığıdır (gerçek negatif oranı, yüzde olarak ifade edilir).
    $$ Özgüllük = \frac { d } { c + d} $$
  • Pozitif olabilirlik oranı: hastalığın varlığı durumunda pozitif bir test sonucu elde etme olasılığı ile hastalığın yokluğu durumunda pozitif bir test sonucu elde etme olasılığı arasındaki orandır, yani
    $$ +LR = \frac { Gerçek\ Pozitif\ Oranı } { Yanlış\ Pozitif\ Oranı } = \frac { Duyarlılık} { 1 - Özgüllük} $$
  • Negatif olabilirlik oranı: hastalığın varlığı durumunda negatif bir test sonucu elde etme olasılığı ile hastalığın yokluğu durumunda negatif bir test sonucu elde etme olasılığı arasındaki orandır, yani
    $$ -LR = \frac { Yanlış\ Negatif\ Oranı } { Gerçek\ Negatif\ Oranı } = \frac { 1 - Duyarlılık} { Özgüllük} $$
  • Pozitif prediktif değer: test pozitif olduğunda hastalığın mevcut olma olasılığıdır (yüzde olarak ifade edilir).
    $$ PPV = \frac { a } { a + c} $$
  • Negatif prediktif değer: test negatif olduğunda hastalığın mevcut olmama olasılığıdır (yüzde olarak ifade edilir).
    $$ NPV = \frac { d } { b + d} $$

Ölçüt değerine göre duyarlılık ve özgüllük

Daha yüksek bir ölçüt değeri seçtiğinizde, yanlış pozitif fraksiyonu artan özgüllükle birlikte azalacaktır, ancak öte yandan gerçek pozitif fraksiyonu ve duyarlılık azalacaktır:

Ölçüt değerine göre duyarlılık ve özgüllük.

Daha düşük bir eşik değeri seçtiğinizde, gerçek pozitif fraksiyonu ve duyarlılık artacaktır. Öte yandan yanlış pozitif fraksiyonu da artacak ve bu nedenle gerçek negatif fraksiyonu ve özgüllük azalacaktır.

ROC eğrisi

Bir Alıcı İşletim Karakteristiği (ROC) eğrisinde, gerçek pozitif oranı (Duyarlılık) farklı kesme noktaları için yanlış pozitif orana (100-Özgüllük) göre çizilir. ROC eğrisi üzerindeki her nokta, belirli bir karar eşiğine karşılık gelen bir duyarlılık/özgüllük çiftini temsil eder. Mükemmel ayırt edicilik gösteren bir test (iki dağılım arasında örtüşme olmaması), sol üst köşeden geçen bir ROC eğrisine sahiptir (%100 duyarlılık, %100 özgüllük). Bu nedenle, ROC eğrisi sol üst köşeye ne kadar yakınsa, testin genel doğruluğu o kadar yüksektir (Zweig ve Campbell, 1993).

ROC eğrisi örneği.

ROC eğrisi analizi için veri girişi nasıl yapılır

MedCalc'ta ROC eğrisi analizi yapabilmek için ilgilendiğiniz bir ölçüme (= incelemek istediğiniz parametre) ve çalışma deneklerinizi iki ayrı gruba sınıflandıran bağımsız bir tanıya ihtiyacınız vardır: hasta ve hasta olmayan grup. Bu tanı, ilgilenilen ölçümden bağımsız olmalıdır.

Örneğin, hesap tablosunda bir DIAGNOSIS (TANI) sütunu ve ilgilenilen değişken için bir sütun, örn. TEST1, oluşturun. Her çalışma deneği için tanıyı şu şekilde kodlayın: hasta olgular için 1, hasta olmayan veya normal olgular için 0. TEST1 sütununa ilgilenilen ölçümü girin (bu ölçümler, dereceler vb. olabilir - veriler kategorikse, bunları sayısal değerlerle kodlayın).

Veri
A1
1
 ABC
DIAGNOSISTEST1
11112,7
21104,0
31126,7
41123,3
51120,5
61130,3
71129,6
8097,9
9094,9
101140,2
111119,7
12098,6
13077,3

Gerekli girdi

ROC eğrisi analizi iletişim kutusunu aşağıdaki şekilde doldurun:

ROC eğrisi analizi – iletişim kutusu

Veri

  • Değişken: ilgilenilen değişkeni seçin. Bu değişken, test özelliklerini elde etmek istediğiniz tanısal testin sonuçlarını içerir.
  • Sınıflandırma değişkeni: tanıyı gösteren dikotom bir değişken seçin veya girin (0=negatif, 1=pozitif).

    Verileriniz farklı şekilde kodlanmışsa, verilerinizi yeniden kodlamak için Durumu tanımla aracını kullanabilirsiniz.
  • Filtre: (isteğe bağlı) yalnızca seçilen bir olgu alt grubunu dahil etmek için bir filtre (örn. AGE>21, SEX="Male").

Metodoloji

  • DeLong ve ark.: Eğri Altında Kalan Alanın Standart Hatasının hesaplanması için DeLong ve ark. (1988) yöntemini kullanın (önerilir).
  • Hanley & McNeil: Eğri Altında Kalan Alanın Standart Hatasının hesaplanması için Hanley & McNeil (1982) yöntemini kullanın.
  • AUC için kesin Binom Güven Aralığı: Eğri Altında Kalan Alan için kesin bir Binom Güven Aralığı hesaplayın (önerilir). Bu seçenek işaretlenmezse, Güven Aralığı AUC ± 1.96 × Standart Hatası olarak hesaplanır.

Hastalık prevalansı

Duyarlılık ve özgüllük, dolayısıyla ROC eğrisi, ayrıca pozitif ve negatif olabilirlik oranı hastalık prevalansından bağımsız iken, pozitif ve negatif prediktif değerler hastalık prevalansına veya hastalığın ön olasılığına büyük ölçüde bağımlıdır. Bu nedenle hastalık prevalansı bilinmediğinde, program pozitif ve negatif prediktif değerleri hesaplayamaz.

Klinik açıdan hastalık prevalansı, test yapılmadan önce hastalığın mevcut olma olasılığıyla (hastalığın ön olasılığı) aynıdır.

  • Bilinmiyor: hastalık prevalansı bilinmediğinde veya mevcut istatistiksel analiz için önemsiz olduğunda bu seçeneği seçin.
  • Pozitif ve negatif gruplardaki olgu oranı, hastalığın prevalansını yansıtır: pozitif ve negatif gruptaki örneklem büyüklükleri, popülasyondaki hastalığın gerçek prevalansını yansıtıyorsa, bu durum bu seçenek işaretlenerek belirtilebilir.
  • Diğer değer (%): alternatif olarak, hastalık prevalansı için yüzde olarak ifade edilen bir değer girebilirsiniz.

Seçenekler

  • Test özellikleriyle birlikte ölçüt değerlerini listele: ROC eğrisinin koordinatlarına karşılık gelen ölçüt değerlerinin, ilişkili duyarlılık, özgüllük, olabilirlik oranları ve prediktif değerlerle (hastalık prevalansı biliniyorsa) birlikte bir listesini oluşturma seçeneği.
    • Gözlemlenen tüm ölçüt değerlerini dahil et: Bu seçeneği işaretlediğinizde, program tüm olası eşik değerleri için duyarlılık ve özgüllüğü listeler. Bu seçenek işaretlenmezse, program yalnızca ROC eğrisinin daha önemli noktalarını listeler: eşit duyarlılık/özgüllük için en yüksek özgüllük/duyarlılığa sahip eşik değerlerini (ölçüt değerlerini) verir.
  • %95 Güven Aralığı, duyarlılık/özgüllük, olabilirlik oranı ve prediktif değerler için: gereken Güven Aralıklarını seçin.
  • Maliyetleri dikkate alarak optimal ölçüt değerini hesapla: hastalık prevalansını ve yanlış ile gerçek pozitif ve negatif kararların maliyetini dikkate alarak optimal ölçüt değerini hesaplama seçeneği (Zweig ve Campbell, 1993). Bu seçenek yalnızca hastalık prevalansı biliniyorsa kullanılabilir (yukarıya bakınız).
    • FPc: yanlış pozitif bir kararın maliyeti.
    • FNc: yanlış negatif bir kararın maliyeti.
    • TPc: gerçek pozitif bir kararın maliyeti.
    • TNc: gerçek negatif bir kararın maliyeti.
    Bu veriler, aşağıdaki gibi bir S parametresini hesaplamak için kullanılır:

    $$ S = \left ( \frac {FP_c - TN_c} {FN_c - TP_c} \right ) \times \left ( \frac {1-P} {P} \right ) $$
    burada P, hedef popülasyondaki prevalansı ifade eder (Greiner ve ark., 2000). ROC eğrisi üzerinde bu S eğimine sahip bir doğrunun eğriye değdiği nokta, prevalans ve farklı kararların maliyetleri dikkate alındığında optimal çalışma noktasıdır.

    Maliyetler finansal maliyetler veya sağlık maliyetleri olabilir, ancak 4 maliyet faktörünün tümü ortak bir ölçekte ifade edilmelidir. Faydalar negatif maliyetler olarak ifade edilebilir. Yanlış negatif (FN) bir kararın, yanlış pozitif (FP) bir karardan iki kat daha maliyetli olduğu değerlendirildiğini ve gerçek pozitif ile gerçek negatif kararların maliyetleri hakkında herhangi bir varsayımda bulunulmadığını varsayalım. Bu durumda FNc için 2, FPc için 1 girin ve hem TPc hem de TNc için 0 girin.

    S eğimi pozitif bir sayı olmak zorunda olduğundan:

    • FPc, TNc'ye eşit olamaz
    • FNc, TPc'ye eşit olamaz
    • TNc, FPc'den büyükse, TPc de FNc'den büyük olmalıdır
    • TNc, FPc'den küçükse, TPc de FNc'den küçük olmalıdır

    S parametresi, (FPc-TNc)/(FNc-TPc) değeri 1'e eşit olduğunda, yani FPc-TNc, FNc-TPc'ye eşit olduğunda "maliyet açısından nötr"dür. Bu durumda S ve "optimal ölçüt değeri" yalnızca hastalık prevalansına bağlıdır.

  • Gelişmiş: bazı gelişmiş seçenekler için bu düğmeye tıklayın:

    Bu seçenekler bootstrap gerektirir ve hesaplama açısından yoğun ve zaman alıcıdır.

    • Sabit özgüllük ve duyarlılıkta duyarlılık ve özgüllük tahmini: %80, %90, %95 ve %97,5'lik sabit ve önceden belirlenmiş özgüllük ve duyarlılık için, BCa bootstrap %95 güven aralığıyla (Efron, 1987; Efron & Tibshirani, 1993) birlikte duyarlılık ve özgüllük tahminini içeren bir tablo oluşturun (Zhou ve ark., 2002).
    • Bootstrap Youden indeksi güven aralığı: Youden indeksi ve ilişkili ölçüt değeri için BCa bootstrap %95 güven aralığı hesaplayın.
    • Bootstrap tekrar sayısı: bootstrap tekrar sayısını girin. Literatürde yaygın olarak karşılaşılan sayı 1000 tekrardır. Yüksek sayılar doğruluğu artırır, ancak işlem süresini de artırır.
    • Rastgele sayı tohumu: bu, rastgele sayı üretecinin tohum değeridir. Rastgele bir tohum için 0 girin; bu, işlem tekrarlandığında farklı güven aralıkları elde edilmesine neden olabilir. Başka herhangi bir değer, tekrarlanabilir bir "rastgele" dizi verecek ve bu da güven aralıkları için tekrarlanabilir değerlerle sonuçlanacaktır.

ROC grafiği

  • Grafiği ayrı bir pencerede elde etmek için ROC eğrisi penceresini göster öğesini seçin.

    Seçenekler:

    • ölçüt değerlerine karşılık gelen noktaları işaretle.
    • ROC eğrisi için %95 Güven Sınırlarını göster (Hilgers, 1991).

ROC eğrilerinin sonuçları ve yorumlanması

Örneklem büyüklüğü

Program önce iki gruptaki gözlem sayısını gösterir. Örneklem büyüklüğü açısından, toplam yaklaşık 100 gözlemle gerçekleştirilen ROC deneylerinden anlamlı nitel sonuçlar çıkarılabileceği öne sürülmüştür (Metz, 1978).

Değişken

TEST1

Sınıflandırma değişkeni

DIAGNOSIS

Örneklem büyüklüğü

100

Pozitif grup a

55 (55.00%)

Negatif grup b

45 (45.00%)

a DIAGNOSIS = 1
b DIAGNOSIS = 0

Hastalık prevalansı (%)

10

ROC eğrisi altındaki alan

MedCalc, ROC eğrisi altındaki alanı standart hata ve %95 Güven Aralığı ile birlikte raporlar.

ROC eğrisi altındaki alan (AUC)

ROC eğrisi altındaki alan (AUC) 

0.947

Standart hata a

0.0241

%95 güven aralığı b

0.883 - 0.982

%95 Bootstrap GA c

0.879 - 0.980

z istatistiği

18.544

Anlamlılık düzeyi P (Alan=0,5)

<0.0001

a DeLong et al., 1988

b Binom kesin

c BCa bootstrap güven aralığı (1000 yineleme; rastgele sayı tohumu: 978).

ROC eğrisi altındaki alan (AUC) aşağıdaki şekillerde yorumlanabilir (Zhou, Obuchowski & McClish, 2002):

  • tüm olası özgüllük değerleri için duyarlılığın ortalama değeri;
  • tüm olası duyarlılık değerleri için özgüllüğün ortalama değeri;
  • pozitif gruptan rastgele seçilen bir bireyin test sonucunun, negatif gruptan rastgele seçilen bir bireyinkinden daha yüksek bir şüpheyi işaret etme olasılığı.

İncelenen değişken iki grup arasında ayrım yapamadığında, yani iki dağılım arasında fark olmadığında, alan 0,5'e eşit olacaktır (ROC eğrisi köşegenle çakışacaktır). İki grubun değerleri arasında mükemmel bir ayrım olduğunda, yani dağılımlar arasında örtüşme olmadığında, ROC eğrisi altındaki alan 1'e eşit olacaktır (ROC eğrisi grafiğin sol üst köşesine ulaşacaktır).

%95 Güven Aralığı, gerçek (popülasyon) ROC eğrisi altındaki alanın %95 güvenle içinde yer aldığı aralıktır.

Anlamlılık düzeyi veya P değeri, gerçek (popülasyon) ROC eğrisi altındaki alan aslında 0,5 olduğunda (sıfır hipotezi: Alan = 0,5), gözlemlenen örneklem ROC eğrisi altındaki alanının bulunma olasılığıdır. P küçükse (P<0.05), ROC eğrisi altındaki alanın 0,5'ten anlamlı şekilde farklı olduğu ve bu nedenle laboratuvar testinin iki grup arasında ayrım yapma yeteneğine sahip olduğuna dair kanıt bulunduğu sonucuna varılabilir (Hanley & McNeil, 1982; Zweig & Campbell, 1993).

Youden indeksi

Youden indeksi, %95 güven aralığı ve ilişkili ölçütüyle birlikte raporlanır.

Youden indeksi

Youden indeksi J

0.8202

%95 güven aralığı a

0.6979 - 0.9051

İlişkili ölçüt

>108.9

%95 güven aralığı a

>107.9 - >114.8

Duyarlılık

90.91

Özgüllük

91.11

a BCa bootstrap güven aralığı (1000 yineleme; rastgele sayı tohumu: 978).

Youden indeksi J (Youden, 1950) şu şekilde tanımlanır:

$$ J = max\ \{ duyarlılık_c + özgüllük_c - 1\} $$

burada c, tüm olası ölçüt değerleri üzerinde değişir.

Grafiksel olarak J, ROC eğrisi ile köşegen doğru arasındaki maksimum dikey mesafedir.

Youden indeksi J'ye karşılık gelen ölçüt değeri, yalnızca hastalık prevalansı %50 olduğunda, duyarlılık ve özgüllüğe eşit ağırlık verildiğinde ve çeşitli kararların maliyetleri göz ardı edildiğinde optimal ölçüt değeridir.

İlgili Gelişmiş seçenek işaretlendiğinde, MedCalc hem Youden indeksi hem de karşılık gelen ölçüt değeri için BCa bootstrap %95 güven aralıkları hesaplar (Efron, 1987; Efron & Tibshirani, 1993).

Ölçüt değerleri

MedCalc, eşik veya ölçüt değerlerini yalnızca basitçe raporlamaz; daha yüksek değerlerin mi yoksa daha düşük değerlerin mi hastalığı gösterdiğine bağlı olarak, ölçüt değerlerini > veya ≤ karşılaştırma işaretiyle birlikte raporlar.

Ölçüt değerleri hakkındaki nota bakınız.

Optimal ölçüt

Bu panel yalnızca hastalık prevalansı ve maliyet parametreleri bilindiğinde görüntülenir.

En uygun ölçüt

En uygun ölçüt a

>114.8

%95 güven aralığı b

>112.9 - >114.8

Duyarlılık

76.36

Özgüllük

97.78

a Hastalık prevalansı (%10) ve tahmini maliyetler dikkate alınarak:
   yanlış pozitif maliyeti: 1; yanlış negatif maliyeti: 2
   doğru pozitif maliyeti: 0; doğru negatif maliyeti: 0

b BCa bootstrap güven aralığı (1000 yineleme; rastgele sayı tohumu: 978).

Optimal ölçüt değeri yalnızca duyarlılık ve özgüllüğü değil, aynı zamanda hastalık prevalansını ve çeşitli kararların maliyetlerini de dikkate alır. Bu veriler bilindiğinde, MedCalc optimal ölçütü ve ilişkili duyarlılık ile özgüllüğü hesaplar. İlgili Gelişmiş seçenek işaretlendiğinde ise MedCalc, bu parametreler için BCa bootstrap %95 güven aralıkları hesaplar (Efron, 1987; Efron & Tibshirani, 1993).

Bir test tarama amacıyla veya tanısal bir olasılığı dışlamak için kullanıldığında, daha yüksek duyarlılığa sahip bir kesme değeri seçilebilir; bir test bir hastalığı doğrulamak için kullanıldığında ise daha yüksek özgüllük gerekebilir.

Özet tablo

Bu panel yalnızca ilgili Gelişmiş seçenek işaretlendiğinde görüntülenir.

Özet tablo, 80, 90, 95 ve %97,5'lik sabit ve önceden belirlenmiş duyarlılıklar için tahmini özgüllüğün yanı sıra, sabit ve önceden belirlenmiş özgüllükler için tahmini duyarlılığı (Zhou ve ark., 2002), karşılık gelen ölçüt değerleriyle birlikte gösterir.

Özet tablo

Sabit duyarlılıkta kestirilen özgüllük

Duyarlılık

Özgüllük

%95 GA a

Ölçüt

80.00

95.56

84.44 - 100.00

>112.9

90.00

91.11

68.89 - 100.00

>109.45

95.00

73.33

32.15 - 94.77

>103.8

97.50

66.67

24.44 - 86.67

>102.575

99.00

37.78

15.56 - 66.67

>94.955

Sabit özgüllükte kestirilen duyarlılık

Özgüllük

Duyarlılık

%95 GA a

Ölçüt

80.00

92.73

74.14 - 98.18

>106.9

90.00

91.36

76.36 - 98.90

>108.75

95.00

80.00

10.91 - 94.63

>112.85

97.50

76.36

0.00 - 0.00

>114.775

99.00

14.55

0.00 - 0.00

>133.265

a BCa bootstrap güven aralığı (1000 yineleme; rastgele sayı tohumu: 978).

Güven aralıkları, BCa bootstrap %95 güven aralıklarıdır (Efron, 1987; Efron & Tibshirani, 1993).

Ölçüt değerleri ve ROC eğrisinin koordinatları

Sonuç penceresinin bu bölümü, farklı filtreleri veya kesme değerlerini, testin karşılık gelen duyarlılık ve özgüllüğü ile birlikte, pozitif (+LR) ve negatif (-LR) olabilirlik oranıyla birlikte listeler. Hastalık prevalansı bilindiğinde, program pozitif prediktif değeri (+PV) ve negatif prediktif değeri (-PV) de raporlar.

ROC eğrisinin ölçüt değerleri ve koordinatları

Ölçüt

Duyarlılık

%95 GA

Özgüllük

%95 GA

+LR

-LR

+PV

-PV

Maliyet

≥77.3

100.00

93.5 - 100.0

0.00

0.0 - 7.9

1.00

 

10.0

 

0.900

>94.9

100.00

93.5 - 100.0

37.78

23.8 - 53.5

1.61

0.00

15.2

100.0

0.560

>95

98.18

90.3 - 100.0

37.78

23.8 - 53.5

1.58

0.048

14.9

99.5

0.564

>102.5

98.18

90.3 - 100.0

66.67

51.0 - 80.0

2.95

0.027

24.7

99.7

0.304

>102.7

96.36

87.5 - 99.6

66.67

51.0 - 80.0

2.89

0.055

24.3

99.4

0.307

>103.2

96.36

87.5 - 99.6

73.33

58.1 - 85.4

3.61

0.050

28.6

99.5

0.247

>104

94.55

84.9 - 98.9

73.33

58.1 - 85.4

3.55

0.074

28.3

99.2

0.251

>104.5

94.55

84.9 - 98.9

75.56

60.5 - 87.1

3.87

0.072

30.1

99.2

0.231

>104.9

92.73

82.4 - 98.0

75.56

60.5 - 87.1

3.79

0.096

29.7

98.9

0.235

>108.3

92.73

82.4 - 98.0

86.67

73.2 - 94.9

6.95

0.084

43.6

99.1

0.135

>108.9

90.91

80.0 - 97.0

91.11

78.8 - 97.5

10.23

0.100

53.2

98.9

0.0982

>110.7

81.82

69.1 - 90.9

91.11

78.8 - 97.5

9.20

0.20

50.6

97.8

0.116

>112.2

81.82

69.1 - 90.9

93.33

81.7 - 98.6

12.27

0.19

57.7

97.9

0.0964

>112.7

80.00

67.0 - 89.6

93.33

81.7 - 98.6

12.00

0.21

57.1

97.7

0.1000

>112.9

80.00

67.0 - 89.6

95.56

84.9 - 99.5

18.00

0.21

66.7

97.7

0.0800

>114.6

76.36

63.0 - 86.8

95.56

84.9 - 99.5

17.18

0.25

65.6

97.3

0.0873

>114.8

76.36

63.0 - 86.8

97.78

88.2 - 99.9

34.36

0.24

79.2

97.4

0.0673

>133.1

14.55

6.5 - 26.7

97.78

88.2 - 99.9

6.55

0.87

42.1

91.1

0.191

>133.4

14.55

6.5 - 26.7

100.00

92.1 - 100.0

 

0.85

100.0

91.3

0.171

>143.6

0.00

0.0 - 6.5

100.00

92.1 - 100.0

 

1.00

 

90.0

0.200

"Gözlemlenen tüm ölçüt değerlerini dahil et" seçeneğini işaretlemediğinizde, program yalnızca ROC eğrisinin daha önemli noktalarını listeler: eşit duyarlılık (özgüllük) için en yüksek özgüllüğe (duyarlılığa) sahip eşik değerini (ölçüt değerini) verir. "Gözlemlenen tüm ölçüt değerlerini dahil et" seçeneğini işaretlediğinizde ise program, tüm olası eşik değerleri için duyarlılık ve özgüllüğü listeler.

  • Duyarlılık (isteğe bağlı %95 Güven Aralığı ile): hastalık mevcut olduğunda bir test sonucunun pozitif olma olasılığı (gerçek pozitif oranı).
  • Özgüllük (isteğe bağlı %95 Güven Aralığı ile): hastalık mevcut olmadığında bir test sonucunun negatif olma olasılığı (gerçek negatif oranı).
  • Pozitif olabilirlik oranı (isteğe bağlı %95 Güven Aralığı ile): hastalığın varlığında pozitif bir test sonucu elde etme olasılığı ile hastalığın yokluğunda pozitif bir test sonucu elde etme olasılığı arasındaki oran.
  • Negatif olabilirlik oranı (isteğe bağlı %95 Güven Aralığı ile): hastalığın varlığında negatif bir test sonucu elde etme olasılığı ile hastalığın yokluğunda negatif bir test sonucu elde etme olasılığı arasındaki oran.
  • Pozitif prediktif değer (isteğe bağlı %95 Güven Aralığı ile): test pozitif olduğunda hastalığın mevcut olma olasılığı.
  • Negatif prediktif değer (isteğe bağlı %95 Güven Aralığı ile): test negatif olduğunda hastalığın mevcut olmama olasılığı.
  • Maliyet*: tanısal testin o karar düzeyinde kullanılmasından kaynaklanan ortalama maliyet. Burada raporlanan maliyetin, tüm karar düzeylerinde sabit olan "genel gider maliyetini", yani testi yapmanın maliyetini içermediğini unutmayın.

    *Bu sütun yalnızca hastalık prevalansı ve maliyet parametreleri bilindiğinde görüntülenir.

Duyarlılık, özgüllük, pozitif ve negatif prediktif değer ile hastalık prevalansı yüzde olarak ifade edilir.

Duyarlılık ve özgüllük için güven aralıkları "kesin" (exact) Clopper-Pearson güven aralıklarıdır.

Olabilirlik oranları için güven aralıkları, Altman ve ark. 2000'in 109. sayfasında verilen "Log yöntemi" kullanılarak hesaplanır.

Prediktif değerler için güven aralıkları, Mercaldo ve ark. 2007 tarafından verilen standart logit güven aralıklarıdır.

ROC eğrisi

İletişim kutusunda ilgili seçeneği işaretlediğinizde, ROC eğrisi ikinci bir pencerede görüntülenecektir.

Bir ROC eğrisinde, gerçek pozitif oranı (Duyarlılık) farklı kesme noktaları için yanlış pozitif orana (100-Özgüllük) göre çizilir. ROC eğrisi üzerindeki her nokta, belirli bir karar eşiğine karşılık gelen bir duyarlılık/özgüllük çiftini temsil eder. Mükemmel ayırt edicilik gösteren bir test (iki dağılım arasında örtüşme olmaması), sol üst köşeden geçen bir ROC eğrisine sahiptir (%100 duyarlılık, %100 özgüllük). Bu nedenle, ROC eğrisi sol üst köşeye ne kadar yakınsa, testin genel doğruluğu o kadar yüksektir (Zweig & Campbell, 1993).

ROC eğrisi

ROC eğrisi üzerinde belirli bir noktaya tıkladığınızda, karşılık gelen kesme noktası duyarlılık ve özgüllüğü ile birlikte görüntülenecektir.

%95 güven sınırlarını dahil et seçeneğiyle çizilen ROC eğrisi aşağıda gösterilmiştir:

%95 güven sınırlarıyla ROC eğrisi

Sonuçların sunumu

Bir hastalığın prevalansı farklı klinik ortamlarda farklılık gösterebilir. Örneğin, bir hasta bir uzmana başvurduğunda, pozitif bir test için test öncesi olasılık, pratisyen hekime başvurduğu duruma göre daha yüksek olacaktır. Pozitif ve negatif prediktif değerler hastalığın prevalansına duyarlı olduğundan, hastalık prevalansının farklı olduğu çalışmalardan elde edilen bu değerleri karşılaştırmak veya bunları farklı ortamlara uygulamak yanıltıcı olacaktır.

Sonuç penceresindeki veriler bir tabloda özetlenebilir. İki gruptaki örneklem büyüklüğü açıkça belirtilmelidir. Tablo, farklı ölçüt değerleri için bir sütun, karşılık gelen duyarlılık (%95 GA ile), özgüllük (%95 GA ile) ve mümkünse pozitif ve negatif prediktif değeri içerebilir. Tablo yalnızca tek bir kesme değeri için testin özelliklerini içermemeli, tercihen %90, %95 ve %97,5 duyarlılığa, %90, %95 ve %97,5 özgüllüğe karşılık gelen değerler ile Youden indeksine veya en yüksek doğruluğa karşılık gelen değer için bir satır bulunmalıdır.

Bu verilerle, herhangi bir okuyucu, kendi klinik ortamındaki hastalığın ön olasılığını (test öncesi olasılık veya hastalık prevalansı) bildiğinde, Bayes teoremine dayanan aşağıdaki formülleri kullanarak kendi klinik ortamında geçerli olan negatif ve pozitif prediktif değeri hesaplayabilir:

$$ PPV = \frac {duyarlılık \times prevalans } {duyarlılık \times prevalans + (1-özgüllük)\times (1-prevalans) } $$

ve

$$ NPV = \frac {özgüllük \times (1-prevalans) }{ (1-duyarlılık) \times prevalans + özgüllük \times (1-prevalans) } $$

Negatif ve pozitif olabilirlik oranı dikkatle ele alınmalıdır, çünkü kolaylıkla ve sıklıkla yanlış yorumlanabilirler.

Kaynakça

  • DeLong ER, DeLong DM, Clarke-Pearson DL (1988) Comparing the areas under two or more correlated receiver operating characteristic curves: a non-parametric approach. Biometrics 44:837-845. PubMed
  • Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
  • Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
  • Greiner M, Pfeiffer D, Smith RD (2000) Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 45:23-41. PubMed
  • Griner PF, Mayewski RJ, Mushlin AI, Greenland P (1981) Selection and interpretation of diagnostic tests and procedures. Annals of Internal Medicine 94:555-600. PubMed
  • Hanley JA, Hajian-Tilaki KO (1997) Sampling variability of non-parametric estimates of the areas under receiver operating characteristic curves: an update. Academic Radiology 4:49-58. PubMed
  • Hanley JA, McNeil BJ (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143:29-36. PubMed
  • Hilgers RA (1991) Distribution-free confidence bounds for ROC curves. Methods of Information in Medicine 30:96-101. PubMed
  • Mercaldo ND, Lau KF, Zhou XH (2007) Confidence intervals for predictive values with an emphasis to case-control studies. Statistics in Medicine 26:2170-2183. PubMed
  • Metz CE (1978) Basic principles of ROC analysis. Seminars in Nuclear Medicine 8:283-298. PubMed
  • Youden WJ (1950) Index for rating diagnostic tests. Cancer 3:32-35. PubMed
  • Zhou XH, Obuchowski NA, McClish DK (2002) Statistical methods in diagnostic medicine. Wiley-Interscience.
  • Zweig MH, Campbell G (1993) Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577. PubMed

Ayrıca bakınız

Dış bağlantılar