كيف تراقب وكلاء الذكاء الاصطناعي في الإنتاج

لمراقبة وكيل في الإنتاج، ابدأ بسجل مستمر للعمل الذي يقبله والحالات التي يمكن أن يصل إليها. أضف حوله آثار التنفيذ وفحوص الجودة وإشارات الموارد واستجابات المشغل. لا تكشف لوحة استدعاءات النموذج وحدها المهام المنتظرة أو المكتملة خطأ أو الغائبة عن الرصد.

هذا دليل تنفيذ لقائد هندسي يجهز خدمة للتشغيل المستمر، ويركز على نظام المراقبة واختبارات قبوله. يجب الاتفاق مع مالك الخدمة على الصلاحيات والأهداف والتزامات الاستجابة؛ فلا تستنتج من النموذج أو منتج الرصد.

1. عرف العمل الإنتاجي الذي تريد مراقبته

وثق نقطة الدخول وقاعدة الانطباق والنتيجة المقصودة وتأكيدها المعتمد. حدد النتائج السليمة التي لا تنتهي بإنجاز، مثل تعليق مصرح به أو طلب معلومات. وعرف الحالة غير المحسومة. يجب أن توجد الحالات في التطبيق أو سجل الأعمال، لا في حساب لوحة فقط.

في مثال توضيحي، يفحص وكيل تذكير سجل السياسات الداخلي للمؤسسة. وعند استحقاق مراجعة وثيقة، يحدد مالكها الحالي ويجهز تذكيراً وينشئ متابعة داخلية بعد الموافقة المطلوبة. لا يحدد الوكيل مدد المراجعة النظامية؛ بل يزوده مالك السياسة بالتواريخ والقواعد.

للوثيقة DR-52 تاريخ استحقاق وإصدار محدد من السجل ومالك معين. يتطلب اكتمال التذكير صحة الوثيقة والمالك، وطلباً مصرحاً به، وتأكيد نظام المتابعة. وقد يكون استبعاد وثيقة مؤرشفة صحيحاً، بينما يتطلب غياب المالك تدخلاً. تشكل هذه الفروق عقد المراقبة قبل تسجيل النموذج.

2. سجل أحداث دورة حياة قليلة ومعتمدة

عند القبول، احفظ معرف المهمة ووقتها وإصدار المصدر ومرجع إعداد الخدمة. وسجل انتقالات مفيدة مثل فحص المصدر وطلب المراجعة وإرسال الإجراء وتأكيده والتصعيد. احفظ كل محاولة دون إنشاء مهمة أعمال جديدة لكل إعادة محاولة.

أدرج سبب الانتقال والمكون المسؤول. قول النموذج إنه أرسل تذكيراً ليس تأكيد النظام المرسل. يسجل موصل الإجراء المرجع الخارجي، ويتحقق مكون المطابقة من النتيجة عندما لا تكفي الاستجابة الأولى. أبق الإجراءات غير المؤكدة ظاهرة حتى تثبيت حالتها.

استخدم تتبع المهام لربط دورة الحياة بالتنفيذ التقني. يفسر الأثر كيفية الوصول إلى الحالة، بينما يكشف السجل المستمر العمل الذي لا يملك أثراً كاملاً. لا يكتب أحدهما فوق الآخر بصمت عند التعارض.

3. ابن عقد مراقبة بسبعة أسئلة

عقد مراقبة لخدمة التذكير بمراجعة الوثائق

السؤال التشغيلي	الإشارة	الاستجابة المتاحة
هل يدخل العمل الجديد؟	السجلات المستحقة مقارنة بالمهام المقبولة	فحص الجدولة والقبول
أين ينتظر العمل؟	عمر المهمة بحسب الحالة والقائمة المسؤولة	حل موضع التأخير
هل استخدمت معلومات حديثة؟	إصدارات السجل ومرجع المالك	تحديث العمل المتأثر أو تعليقه
هل التذكيرات مقبولة؟	صحة الوثيقة والمالك والقرار بعد المراجعة	تصحيح القاعدة أو السلوك
هل تأكدت النتائج الخارجية؟	مطابقة الطلبات بمراجع المتابعة	تسوية الإجراءات غير المؤكدة
هل الاستهلاك غير معتاد؟	الاستدعاءات والمحاولات والمدة والموارد حسب المهمة	احتواء حلقات التكرار أو نقص السعة
هل نثق بتغطية المراقبة؟	المهام المقبولة والأحداث المصدرة والفقد المعروف	إصلاح مسار الأدلة وإظهار الفجوات

هذا تصميم مقترح للمثال. استبدل إشاراته بالأحداث المعتمدة في أنظمتك. لا تجمع حقلاً لمجرد أن الحزمة توفره؛ يجب أن يجيب عن سؤال مسمى أو يدعم تحقيقاً متفقاً عليه.

4. سجل المكونات واحم مسار البيانات

غط خدمة الدخول والمنسق وتفاعلات النموذج والاسترجاع والأدوات المخصصة والقوائم والتأكيدات الخارجية. حافظ على السياق عبر العمليات حيث يناسب، واستخدم مراجع آمنة لربط أحداث لاحقة خارج أثر واحد. اختبر كل حد بتسلسل معروف بدلاً من الاعتماد على التسجيل التلقائي وحده.

حدد معالجة الحقول قبل التصدير. أزل الهويات غير اللازمة وبيانات الاعتماد والوثائق الكاملة، واحتفظ بمراجع الإصدارات أو المقتطفات المعتمدة إذا كفت للتحقيق. يقدم تصميم بيانات الرصد نهجاً على مستوى الحقول. تقييد العرض لا يزيل بيانات التقطت في موضع آخر.

إذا استخدمت مجمع OpenTelemetry، فإن نموذج إعداده يفصل المستقبلات والمعالجات والمصدرات ضمن المسارات المفعلة. وثق المسار وسلوكه عند الإخفاق: بطء التصدير أو انقطاعه، وحدود التخزين المؤقت، وإظهار الفقد. لا تسمح لعطل الرصد بإحداث نمو غير محدود لذاكرة التطبيق.

5. ثبت خط أساس قبل ضبط العتبات

راقب دورة تشغيل ممثلة ذات نتائج معروفة. سجل التغير الطبيعي حسب نوع المهمة واللغة وحالة المصدر ومتطلبات المراجعة حيث تفيد هذه الفروق. افصل التنفيذ عن انتظار الموافقة والنظام الخارجي؛ فقد يخفي متوسط واحد قائمة تتقادم.

في DR-52، قس من اختيار العمل المستحق إلى قبوله، ثم التنفيذ وانتظار المراجعة والتأكيد. قد ينشأ التذكير سريعاً لكنه يصل متأخراً بسبب إغفال المجدول له. راقب بداية الرحلة إلى جانب نشاط النموذج الظاهر.

اختر العتبات مع المالك وفق التوزيعات المشاهدة وأثر الأعمال. يصف الخط الأساسي ما حدث، ولا يعرف الأداء المقبول تلقائياً. يشرح دليل مؤشرات الخدمة وأهدافها الفرق. لا تنسخ زمناً مستهدفاً من عرض منتج غير مماثل.

6. اجمع الفحوص الآلية وأدلة الجودة المراجعة

يمكن فحص خصائص مباشرة: وجود الوثيقة وحداثة السجل وصحة مرجع المالك وتأكيد المتابعة الخارجية. وتحتاج خصائص أخرى إلى مراجعة، مثل وضوح شرح استثناء غير عادي. أبق مصدر كل حكم ظاهراً.

خذ عينات من العمل المعتاد، وأدرج الحالات النادرة أو المؤثرة عمداً. عينة مريحة من مهام سهلة مكتملة ستفوت غياب المالك وتعارض إصدارات السجل والرفض البشري. وثق الحالات المشمولة وعدم اليقين، ولا تقدم درجة العينة كجودة دقيقة لجميع الإنتاج.

اربط الفحوص المخفقة وملاحظات المراجعين بمجموعة اختبار مضبوطة. تتبع إصدارات التطبيق والتعليمات والمصدر والمقيم. يحدد تقييم النتائج عملية القبول، وتستخدم المراقبة نتائجها وتكشف الحاجة إلى فحص إضافي.

7. صمم التنبيهات حول القرارات

يحتاج كل تنبيه عملي إلى حالات متأثرة ورابط أدلة ومالك وقرار تال. عند فجوة القبول، يفحص المشغل الجدولة ويطابق المستحقات. وعند إجراء غير محسوم، يفحص النظام المستقبل قبل تكرار الطلب. وعند مالك خاطئ، يحتوي الفرع ويفحص قاعدة الربط.

افصل التنبيه العاجل عن عناصر قائمة العمل وتقارير الاتجاهات. قد تحتاج إشارة جودة محدودة إلى تحقيق دون إيقاظ المستجيب فوراً. وقد يستدعي إجراء خارجي غير مصرح به احتواء سريعاً رغم سلامة البنية. تعكس الشدة الأثر واستعجال الاستجابة.

اضبط التنبيهات المكررة لحادث واحد، واجمع الإخفاقات المرتبطة دون إخفاء المهام المختلفة. اختبر التوجيه بالأدوار والصلاحيات الفعلية. يؤكد دليل Google للمراقبة فائدة الإشارات القابلة للتصرف؛ والاختبار العملي قدرة المستلم على القرار. يوثق دليل تشغيل الوكيل هذه الاستجابة.

8. أثبت المراقبة بإخفاقات مضبوطة

قبل الاعتماد، اختبر مالكاً مفقوداً وإصداراً قديماً من السجل وموافقة متأخرة وعاملاً منقطعاً ومهلة خارجية منتهية وتصديراً متعطلاً في بيئة معزولة. حدد حالة المهمة والإشارة والاستجابة المتوقعة لكل اختبار. وصول التنبيه جزء من القبول فقط؛ يجب أن تدعم الأدلة الإجراء الصحيح.

في اختبار المهلة الخارجية، أبق عدم اليقين حتى تثبت المطابقة وجود المتابعة أو غيابها. تأكد من أن المراقبة لا توصي بإعادة إرسال عمياء. وفي انقطاع التصدير، تحقق من استمرار احتساب المهام وظهور فقد التغطية رغم غياب الآثار المفصلة.

وثق النتائج والفجوات. أعد الاختبارات ذات الصلة بعد تغيير افتراضاتها. هذه تغطية مقصودة للتحقق من عدم عودة عيب معروف، وليست مطالبة بإعادة كل اختبار بعد كل تعديل صغير.

9. راجع المراقبة عند تغير الخدمة

قد يغير النموذج أو التعليمات أو سجل المصادر أو عقد الأداة أو المراجعة السلوك دون تغيير اللوحة. أضف مراجع الإعداد والإصدار لمقارنة الحالات المتشابهة، واحفظ التعريفات التاريخية عند تغير معنى حالة أو مؤشر.

استخدم مراقبة الانحراف وعودة العيوب لفصل المدخلات الجديدة عن تكرار عيب سابق. قد يكون ارتفاع التصعيد صحيحاً لأن السجلات الناقصة زادت. افحص السبب قبل وصف كل تغير بأنه تراجع.

عين مراجعة دورية للتنبيهات غير المستخدمة والقوائم بلا مالك والأدلة الناقصة. يشمل دليل دورة حياة الوكيل لدى Microsoft المراقبة والتحسين؛ والمطلوب تشغيلياً شخص يستطيع تعديل المراقب أو إلغاءه عند زوال غرضه.

حزمة التسليم للإنتاج

سلم تعريف دورة الحياة وعقد المراقبة وخريطة البيانات وتعريفات اللوحات ومسارات التنبيه ودليل التشغيل ونتائج الإخفاقات معاً. سم مالك كل مراقب وطريقة تغييره. ينبغي أن يفسر المشغل مهمة غير محسومة دون الاعتماد على ذاكرة المطور الأصلي.

ناقش خطة مراقبة إنتاجية لوكلائك مع دورة مهمة تخفي التفاصيل الحساسة والأنظمة التي تؤكد الإنجاز. يمكن تحديد نطاق خدمات AgentOps للأدلة والإعداد والتسليم المطلوب، مع الاتفاق على الدعم بصورة مستقلة.