تحديد نطاق مشروع تعلّم آلي يصمد أمام الواقع

ابدأ من القرار

السؤال الأول ليس أي نموذج، بل: أي قرار يتغيّر بسبب هذا النظام، ومن يتخذه؟

فإن لم يتغيّر قرار، أنتج المشروع لوحة معلومات لا يفتحها أحد. وإن كان متّخذ القرار لن يتصرّف بناءً على مُخرَج احتمالي، فالدقة غير ذات صلة — لديك مشكلة إدارة تغيير في ثوب تقني.

اكتب الجملة: «حين يُخرج النظام X، سيفعل [الدور] Y بدل Z». فإن تعذّر إكمالها، فتوقّف وأصلح التأطير قبل كتابة أي شفرة.

أرسِ خط أساس قبل النمذجة

لا يمكنك ادّعاء تحسّن دون معرفة نقطة البداية. وثلاثة خطوط أساس تستحق القياس:

• أداء العملية الحالية — كم مرة يصيب الإنسان، أو القاعدة القائمة؟
• متنبّئ تافه — تنبّأ دائماً بالفئة الأغلب، أو بالاستمرارية في السلاسل الزمنية
• قواعد بسيطة — حفنة عتبات يكتبها خبير المجال في بعد ظهيرة

وخطوط الأساس البسيطة منافسة على نحو مدهش. فحين يبلغ محرّك قواعد 85% وتبلغ شبكة عصبية 87%، قد يظل محرّك القواعد الخيار الصحيح متى حُسبت قابلية التفسير وزمن الاستجابة والصيانة.

استجوب التصنيفات

يتطلب التعلّم المُشرَف أمثلة مصنّفة، وهنا تموت المشاريع بهدوء.

• هل التصنيفات موجودة، أم يجب إنشاؤها؟ التصنيف اليدوي غالباً أكبر بند في الميزانية.
• هل هي متسقة؟ اطلب من مصنّفَين تصنيف المئة مثال ذاتها. فاختلاف يتجاوز نحو 10% يضع سقفاً للدقة الممكنة ويحتاج حلاً بتعريف أوضح لا ببيانات أكثر.
• متى تصل؟ إن كانت النتيجة لا تُعرف إلا بعد ستين يوماً، فذلك يحدّد وتيرة إعادة التدريب وحلقة التغذية الراجعة كلها.
• هل هي ملوّثة؟ فحقلٌ تملؤه العمليةُ نفسها التي تؤتمتها يُسرّب الإجابة. والنماذج المدرّبة عليه تبدو استثنائية في التقييم وتفشل فوراً في الإنتاج.

افحص التسرّب صراحةً

التسرّب أشيع أسباب نموذج يختبر ببراعة ويُنشر بكارثة. اسأل عن كل سمة: هل ستكون هذه القيمة متاحة، بهذه القيمة، لحظة التنبؤ؟

والمصادر الكلاسيكية: حقول تُحدَّث بعد معرفة النتيجة، وتجميعات محسوبة على كامل البيانات قبل التقسيم، ومعرّفات مرتبطة بالهدف عبر ترتيب الجمع، وتقسيمات عشوائية مطبّقة على بيانات ذات بنية زمنية. فالبيانات المرتّبة زمنياً تتطلب تقسيماً مرتّباً زمنياً، دائماً.

عرّف النجاح كعتبة لا كاتجاه

«حسّن الدقة» عبارة غير قابلة للتفنيد. أما «اخفض حجم المراجعة اليدوية 40% مع إبقاء السلبيات الخاطئة دون 2%» فقابلة للاختبار وقابلة للإخفاق.

واختر المقياس بما يطابق بنية التكلفة. فالدقة مضلّلة عند اختلال توازن الفئات؛ والضبط والاسترجاع والمفاضلة بينهما أهم عادةً، ونقطة التشغيل الصحيحة تعتمد على التكلفة النسبية لكل نوع خطأ. واحسم هذا قبل رؤية النتائج، وإلا انزلقت العتبة إلى حيث صادف أن حطّ النموذج.

خطّط لتدهور النموذج

النشر بداية العمل لا نهايته. فتوزيعات البيانات تنجرف، والأنظمة السابقة تغيّر صيغها بلا إنذار، والسلوك يتكيّف مع وجود النموذج.

قبل الإطلاق، احسم: ما الذي يُراقَب، وأي عتبة تستدعي التحقيق، ومن يملك الاستجابة، وكيف تجري إعادة التدريب، وكيف يُتراجَع عن النشر. فالنموذج الذي لا يراقبه أحد التزامٌ يتراكم بهدوء.

قائمة موجزة لتحديد النطاق

1. القرار الذي يتغيّر، مكتوباً جملةً تامة
2. خط أساس مقيس
3. توافر التصنيفات واتساقها وزمن وصولها
4. مراجعة تسرّب صريحة
5. عتبة نجاح مع نقطة تشغيل مختارة
6. خطة مراقبة وتراجع

فإن غاب أي من الستة، فالمشروع غير جاهز للبدء — والبدء رغم ذلك هو الطريق إلى الاكتشافات الباهظة المتأخرة.