المعايرة، لا قوة الكشف

تُقاس معظم كواشف الانحراف برقم واحد: كم مرة تلتقط شذوذًا حقيقيًا. وذلك الرقم مهم، لكنه يُخفي السؤال الذي يهم مشغِّلًا أكثر: حين يقول الكاشف إن احتمال إنذاره الكاذب 5%، هل هو 5% فعلًا؟

تنفيذنا الأول نفسه فشل في هذا الاختبار. كان يستخدم بناءً قياسيًا تمامًا، من الكتب، لدرجة انحراف — من النوع الذي ما زالت معظم الأدوات تشحنه. وحين طُلب منه معدَّل إيجابيات كاذبة 5%، أعطى ما هو أسوأ من ذلك بكثير على بيانات غير جاوسية.

على بيانات جاوسية حقيقية، يبدو المسار الساذج جيدًا. أما على بيانات ثقيلة الذيل أو ملتوية — وهي ما تكونه معظم خصائص الإنتاج الحقيقية — فإنه ينذر بما يصل إلى 6 أضعاف الحدّ. وكل رقم في عمود «المشحون» هو معايرة كيرلتا تؤدي عملها الفعلي: الحفاظ على المعدَّل الموعود أيًّا كان شكل البيانات.

كيف يقارَن ذلك بالبدائل القياسية

البروتوكول نفسه، والأشكال الأربعة نفسها، مقابل كواشف ⁦scikit-learn⁩ حقيقية — بلا ضبط خاص لكل طريقة، والجميع طُلب منهم الضمان نفسه.

اقرأ صفَّ ⁦IsolationForest⁩ بتمعُّن: فهو معايَر جيدًا نسبيًا (خطأ 0.0019) ومع ذلك يُغفل قرابة 40% من الشذوذات الكبيرة — فالمعايرة وقوة الكشف خاصيتان منفصلتان فعلًا، ويمكن لطريقة أن تملك إحداهما دون الأخرى.

وعلى المعايرة أن تصمد حين يتغيَّر شكل البيانات

المعايرة الثابتة صحيحة فقط للنظام الذي ضُبطت عليه. وبيانات الإنتاج الحقيقية لا تبقى في نظام واحد.

الهدف 0.050 في كل صف. وبلا تكيُّف، تكفي قفزة مفاجئة في التباين وحدها لدفع المعدَّل المتحقِّق إلى 0.1177 — أي أكثر من ضعف ما وُعد به.

ما لا يُظهره هذا القياس: عدد خصائص واحد (⁦p=4⁩)، وحجم عينة واحد، ونوع شذوذ واحد (إزاحة منتظمة 6σ)، ومعاملات افتراضية لكل منافس. وهو قياس للمعايرة، لا حكم عام على الطرق المقارَنة. ويمكنك فحص المعايرة على بياناتك: درِّب خط أساس على جزء من فترة سليمة، وقيِّم جزءًا سليمًا آخر، وينبغي ألا يُعلَّم أكثر من نحو 5% من الصفوف.

معدَّل الإنذار الكاذب، مقيسًا

على خط أساس من ⁨2,400⁩ صفًّا (⁨3⁩ خصائص، توزيع طبيعي معياري)، قيَّمنا ⁨300⁩ دفعة نظيفة مستقلة من ⁨80⁩ صفًّا: أُطلق إنذار الانحراف في ⁨2⁩ منها — أي ⁨0.7‎%‎⁩، مقابل حدٍّ قدره ⁨5‎%‎⁩. وفي ⁨60⁩ دفعة أُزيحت كل خصائصها بمقدار انحراف معياري واحد، أُطلق في ⁨60⁩. ويمكنك إجراء الشقِّ النظيف من هذا الفحص على بياناتك عبر جرِّبه.