مقارنة منحنيات الدقة–الاستدعاء

الأمر:	إحصاءات منحنيات ROC مقارنة منحنيات الدقة–الاستدعاء

منحنى الدقة–الاستدعاء رسم للدقة (القيمة التنبؤية الإيجابية، المحور y) مقابل الاستدعاء (الحساسية، المحور x) لعتبات مختلفة. وهو بديل لمنحنى ROC (Saito & Rehmsmeier, 2015).

في إجراء مقارنة منحنيات الدقة–الاستدعاء في MedCalc، يُنشأ منحنيا الدقة–الاستدعاء لمتغيرين مرتبطين أو مستقلين. وتعني «المتغيرات المرتبطة» أن بيانات المتغيرين مستمدة من الحالات نفسها (المفحوصين، العينات، المرضى، …)، وبالتالي فهي مزدوجة.

يُنشئ MedCalc منحنيات الدقة–الاستدعاء من البيانات الخام (لا من جدول حساسية–PPV)، ويحسب الفرق بين المساحتين تحت المنحنيين، مع فاصل الثقة 95% بإعادة المعاينة BC_a لهذا الفرق.

كيفية إدخال البيانات لمنحنى الدقة–الاستدعاء

لإنشاء منحنيات الدقة–الاستدعاء ينبغي أن يكون لديك القياسان موضع الاهتمام (= المعلمتان اللتان تريد دراستهما) وتشخيص مستقل يصنّف المفحوصين في دراستك إلى مجموعتين متميزتين: مجموعة مرضى ومجموعة غير مرضى. وينبغي أن يكون هذا التشخيص الأخير مستقلًّا عن القياسات موضع الاهتمام.

في جدول البيانات، أنشئ عمودًا Classification وعمودين للمتغيرين موضع الاهتمام، مثل Param1 وParam2. ولكل مفحوص في الدراسة أدخل رمزًا للتصنيف على النحو الآتي: 1 للحالات المريضة، و0 للحالات غير المريضة أو الطبيعية. وفي العمودين Param1 وParam2، أدخل القياسات موضع الاهتمام لكل حالة في الصف نفسه (يمكن أن تكون قياسات أو درجات أو غير ذلك - وإذا كانت البيانات فئوية، فرمِّزها بقيم رقمية).

البيانات

A1

1

	A	B	C	D
	Classification	Param1	Param2
1	1	23.7	32.2
2	0	18.9	32.1
3	1	19.9	27.7
4	1	25.6	36.9
5	1	19.9	40.6
6	1	22.1	34.5
7	0	20.4	28.9
8	0	19.9	24.7

المدخلات المطلوبة

• المتغيرات: اختر المتغيرين موضع الاهتمام.
• متغير التصنيف: اختر متغيرًا ثنائيًّا يدل على التشخيص (0=سلبي، 1=إيجابي).

  إذا كانت بياناتك مرمَّزة بطريقة مختلفة، يمكنك استخدام أداة تعريف الحالة لإعادة ترميز بياناتك.

  من المهم تحديد الحالات الإيجابية تحديدًا صحيحًا.

• عامل التصفية: (اختياريًّا) عامل تصفية لتضمين مجموعة فرعية مختارة من الحالات فقط (مثل AGE>21، SEX="Male").
• خيارات:
  • البيانات مصدرها نفس المفحوصين (بيانات مزدوجة): اختر هذا الخيار إذا كان المتغيران يحتويان على بيانات مصدرها المفحوصون أنفسهم. وإذا كانت مجموعتا البيانات من مفحوصين مختلفين، فلا يوجد تصميم مزدوج، وعليك إلغاء تحديد هذا الخيار. ومن المهم إجراء هذا التمييز لأن القوة الإحصائية للاختبار تختلف بين نموذج العينات المزدوجة ونموذج العينات المستقلة.
  • فاصل الثقة بإعادة المعاينة: اختر هذا الخيار لحساب فاصل ثقة للفرق بين المساحتين تحت منحنيَي الدقة–الاستدعاء (AUPRC) باستخدام أسلوب إعادة المعاينة.
  • متقدم: انقر فوق هذا الزر لتحديد معلمات إعادة المعاينة: عدد التكرارات وبذرة الأرقام العشوائية.
• الرسم البياني:
  • خيار لتمييز النقاط المقابلة لقيم المعيار.

النتائج - العينات المزدوجة

مقارنة منحنيات الدقة–الاستدعاء

المتغير 1	Param1
المتغير 2	Param2
متغير التصنيف	Classification

حجم العينة	100
المجموعة الإيجابية a	34 (34.00%)
المجموعة السلبية b	66 (66.00%)

^a Classification = 1
^b Classification = 0

منحنى الدقة–الاستدعاء

المتغير	Param1	Param2
المساحة تحت المنحنى	0.735	0.824
فاصل الثقة 95%	0.564 إلى 0.856	0.659 إلى 0.919
F1max	0.718	0.759
المعيار المرتبط	>21.4	>33.7

مقارنة منحنيات الدقة–الاستدعاء المزدوجة

الفرق بين المساحات	0.08888
فاصل ثقة إعادة المعاينة 95% a	0.007429 إلى 0.2291

^a فاصل ثقة إعادة المعاينة BC_a (5000 تكرار؛ بذرة الأرقام العشوائية: 978).

يُبلِّغ MedCalc أولًا عن الإحصاءات الآتية لكل متغير:

• أحجام العينات في المجموعتين الإيجابية والسلبية.
• المساحة تحت منحنى الدقة–الاستدعاء (AUPRC)، محسوبةً باستخدام الاستيفاء غير الخطي (Davis & Goadrich, 2006).
• F1_max: درجة F1 مقياس لدقة الاختبار، وهي المتوسط التوافقي للدقة والاستدعاء. وتُحسب عند كل مستوى قياس، وF1_max هي أعلى درجة F1 على جميع مستويات القياس.
  $$ F_1 = 2 \times \frac{Recall \times Precision}{Recall + Precision } $$
• المعيار المرتبط: المعيار (مستوى القياس) الذي بُلغت عنده F1_max.
• فاصل الثقة 95% لـ AUPRC، ويُحسب على النحو الآتي (Boyd et al, 2013؛ طريقة اللوجيت):
  $$ CI(AUPRC) = \left[ \frac{e^{\mu_\eta - 1.96 \tau}}{1+ e^{\mu_\eta - 1.96 \tau}} \; ; \; \frac{e^{\mu_\eta + 1.96 \tau}}{1+ e^{\mu_\eta + 1.96 \tau}} \right] $$

  حيث

  $$ \mu_\eta = logit(AUPRC) = \ln \left ( \frac {AUPRC} {1-AUPRC} \right ) $$ $$\tau = \frac{1}{\sqrt{n*AUPRC*(1-AUPRC)}} $$

انظر أيضًا الملاحظة حول قيم المعيار.

النتائج - العينات المستقلة

يختلف تقرير العينات المستقلة بعض الشيء، لكنه يحتوي أساسًا على الإحصاءات نفسها.

مقارنة منحنيات الدقة–الاستدعاء

المتغير 1	Param1
المتغير 2	Param2
متغير التصنيف	Classification

منحنى الدقة–الاستدعاء

المتغير	Param1	Param2
إجمالي حجم العينة	100	100
المجموعة الإيجابية a	34 (34.00%)	34 (34.00%)
المجموعة السلبية b	66 (66.00%)	66 (66.00%)
المساحة تحت المنحنى	0.735	0.824
فاصل الثقة 95%	0.564 إلى 0.856	0.659 إلى 0.919
F1max	0.718	0.759
المعيار المرتبط	>21.4	>33.7

^a Classification = 1
^b Classification = 0

مقارنة منحنيات الدقة–الاستدعاء المستقلة

الفرق بين المساحات	0.08888
فاصل ثقة إعادة المعاينة 95% a	-0.07367 إلى 0.2743

^a فاصل ثقة إعادة المعاينة BC_a (5000 تكرار؛ بذرة الأرقام العشوائية: 978).

مقارنة منحنيَي الدقة–الاستدعاء

يُبلِّغ MedCalc عن:

• الفرق بين المساحتين تحت منحنيَي الدقة–الاستدعاء (AUPRC).
• فاصل الثقة 95% بإعادة المعاينة BC_a لهذا الفرق، إذا اختير الخيار المقابل. وإذا لم يتضمن فاصل الثقة القيمة 0، يمكن الاستنتاج بأن المساحتين تختلفان اختلافًا ذا دلالة (P<0.05).

الرسم البياني

عند اختيار خيار تمييز النقاط المقابلة لقيم المعيار في الرسم البياني، فإنك عند النقر فوق علامة يُعطى المعيار المقابل (للإيجابية) مع الاستدعاء (الحساسية) والدقة (القيمة التنبؤية الإيجابية) ودرجة F1.

المراجع

• Boyd K, Eng KH, Page CD (2013) Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. In: Blockeel H, Kersting K, Nijssen S, Železný F (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2013. Lecture Notes in Computer Science, vol 8190. Springer, Berlin, Heidelberg.
• Davis J, Goadrich M (2006) The relationship between precision-recall and ROC curves. Proceedings of the 23^rd International Conference on Machine Learning, Pittsburgh, PA, 2006.
• Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
• Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
• Saito T, Rehmsmeier M (2015) The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. Plos One 10:e0118432.

انظر أيضًا

• منحنى الدقة–الاستدعاء
• منحنيات ROC: مقدمة
• الرسم مقابل قيم المعيار
• تنسيق الرسم البياني
• وسيلة إيضاح الرسم البياني
• إضافة كائنات رسومية
• الخطوط المرجعية

روابط خارجية

• Precision and recall في ويكيبيديا (بالإنجليزية).
• F1 Score في ويكيبيديا (بالإنجليزية).