اكتشف وشخّص وتدخل
مراقبة وكلاء الذكاء الاصطناعي وقابلية رصدهم
راقب الإتمام المفيد وصحة التبعيات وعبء المراجعة بتتبعات مترابطة وتنبيهات عملية وتشخيص زمني توضيحي.
يجب أن توضح مراقبة الوكيل لفريق التشغيل هل يكتمل عمل مفيد، وأين يتباطأ التنفيذ أو يفشل، وما التدخل اللازم. زمن النموذج وتوافر الخادم جزء من الصورة؛ فقد يبقى النظام متاحاً ويستخدم أدلة قديمة أو يزيد المراجعة أو يترك حالات معلقة.
توفر قابلية الرصد أدلة مترابطة لتفسير الأعراض. يخاطب الدليل مالكي الخدمات وفرق التشغيل الهندسي، بمثال مساعد استثناءات شحن يجمع حقائق مسموحة ويعدّ حالة موثقة ويحيلها لموظف. التصاميم والقياسات افتراضية وليست نتائج نشر لدى Open for AI.
ابدأ بأسئلة المشغل
اسأل عما يحتاجه الفريق يومياً وأثناء الحادث: كم حالة وصلت لإتمام مفيد؟ وما الذي ينتظر دليلاً أو شخصاً؟ وهل زاد تغيير مصدر المخرجات غير المدعومة؟ وهل تتكرر الأدوات دون تقدم؟
اربط كل إشارة بقرار. يفيد استهلاك الرموز عندما يستطيع مسؤول التحقيق أو ضبط الميزانية، ويقل نفعه إذا لم يُعرف هل سببه حجم العمل أو المستندات أو التكرار أو التعليمات.
افصل الغرض التشغيلي عن التدقيق. تدعم المراقبة الكشف والتشخيص في الوقت المناسب، ويحفظ سجل التدقيق أدلة مراجعة الأفعال المؤثرة. قد يشتركان في المعرّفات والأحداث مع اختلاف الاحتفاظ والاكتمال والوصول. يفصل دليل سجل التدقيق ذلك العقد.
اربط المسار بالنموذج والأدوات
استخدم معرّف مهمة أو حالة لربط طلب الأعمال بسجلات التنفيذ. يجمع التتبع مراحل التشغيل من استرجاع ونموذج وأدوات وانتظار. سجّل علاقات سببية أو أبوة واضحة بدلاً من أحداث منفصلة.
تصف OpenTelemetry التتبعات كعمليات مترابطة بمقاطع spans. وتشمل اصطلاحات GenAI الوكلاء ومسارات العمل والأدوات، وهي موسومة بقيد التطوير. اختر إصداراً متوافقاً وسجّله دون افتراض ثبات المخطط دائماً. انظر التتبعات واصطلاحات الوكلاء الحالية.
يتضمن السياق المفيد إصدار التطبيق ومرجع إعداد النموذج والتعليمات والأداة وإصدار المصدر عند الحاجة وفئة الخطأ وحالة الأعمال النهائية. خزّن المحتوى الحساس فقط إذا تطلبه الغرض والضوابط المتفق عليها؛ فقد يكفي مرجع مقيد بدلاً من نسخ المستند.
تشخيص تطبيقي للتأخير
نفترض تشغيلاً متسلسلاً مدته 45 ثانية: انتظار 5 ثوانٍ، وقراءة الشحنة 3، واسترجاع أدلة 28، وتوليد الحالة 7، وحفظها 2. المجموع 5 + 3 + 28 + 7 + 2 = 45 ثانية.
| المرحلة | المدة | التحقيق التالي |
|---|---|---|
| انتظار القائمة | 5 ثوانٍ | قدرة العاملين ونمط الوصول |
| قراءة الشحنة | 3 ثوانٍ | استجابة المصدر وفحص الوصول |
| استرجاع الأدلة | 28 ثانية | التكرار وبطء المصدر واختيار المستندات |
| توليد النموذج | 7 ثوانٍ | حجم المدخل وسلوك الاستدعاء |
| حفظ الحالة | 2 ثانية | إيصال الوجهة ونتيجة الكتابة |
لا يعالج تغيير النموذج وحده أكبر مرحلة مقاسة في المثال. افحص انتظار الاسترجاع لمصدر بطيء أو تكرار سؤال أو معالجة مادة غير لازمة. يقترح التتبع مكان التحقيق ولا يثبت السبب دون تفاصيل.
قد تتداخل المراحل فعلياً. لا تجمع مددها المتداخلة وتعرضها زمناً كاملاً. قِس انتظار المستخدم مستقلاً واستخدم العلاقات لمعرفة المسار الفعلي إلى الإتمام.
عرّف الإشارات في ثلاثة مستويات
صحة الخدمة
تتبّع التوافر وأخطاء التبعيات وعمق القائمة والتعثر وانتهاء المهل والمدة. صنّف الفشل إلى مدخل غير صالح أو وصول مرفوض أو مصدر متعطل أو كتابة غامضة. يخفي عداد «خطأ وكيل» واحد الجهة القادرة على الحل.
سلوك المهمة
تتبّع الإتمام والاستيضاح والتصعيد والإلغاء واستنفاد الميزانية وحسم النتائج، وراقب التكرار وتغير المسارات. قد يكون ارتفاع الاستيضاح مناسباً لتغير النطاق أو علامة تراجع الاستخراج؛ يحسم السياق التفسير.
منفعة الأعمال
تتبّع قبول المراجع والتصحيح الجوهري والحالات العالقة وجهد الإكمال. تحتاج غالباً رأياً بشرياً أو دليل وجهة، ولا تُستنتج بموثوقية من تقييم النموذج لنفسه أو نجاح استجابة HTTP.
اربط المستويات؛ فقد يسبب خلل تقني تراكم العمل، وقد يضعف تغير سياسة المصدر الجودة دون خطأ تقني. تظهر الرؤية التشغيلية المفيدة النمطين.
اتفق على الأهداف مع مالك الخدمة
حدّد أهداف الخدمة للنطاق والعبء، مع نافذة القياس وإجمالي الحالات والاستثناءات. قد يحتاج انتظار قرار بشري هدفاً مختلفاً عن تنفيذ الآلة، لكنه يبقى جزءاً من رحلة المستخدم.
افحص التوزيع لا المتوسط وحده؛ فقد تكون حالات قليلة بطيئة مهمة تشغيلياً. قسّم بحسب المهمة والرحلة اللغوية عندما تكفي العينة، ولا تعتبر مجموعات ضئيلة اتجاهاً مستقراً.
افصل الجودة عن السرعة؛ فالجواب الأسرع بلا دليل ليس تحسناً. يشرح دليل التقييم أدلة الحالات المراجعة والاختبارات التي لا توفرها القياسات وحدها.
صمّم تنبيهات تؤدي إلى فعل
يحتاج التنبيه مسؤولاً وسبباً لمقاطعته ورؤية للعمل المتأثر واستجابة أولى. اختر الحدود من الهدف وخط الأساس والعواقب لا من لوحة عامة.
- تراكم حالات غير محسومة: افحص المصدر وقدرة المراجعين وانتقال الحالة.
- نتائج كتابة مجهولة: احسم عمليات الوجهة قبل السماح بتكرار واسع.
- نمط رفض وصول غير متوقع: افحص انتقال الهوية وتغييرات الصلاحيات.
- نمو مفاجئ للموارد: قارن العبء وحجم الوثائق والتكرار والإصدارات.
- زيادة التصحيحات الجوهرية: راجع حداثة المصادر والسلوك حتى مع سلامة البنية.
فرّق درجة الإلحاح بحسب العاقبة. لا تستجب لتحذير سعة عادي كاشتباه خرق بيانات. وتجنب التنبيه لكل استيضاح طبيعي حتى لا يطمس الضجيج الإشارات المهمة.
راقب الجودة بحلقة مراجعة مستمرة
اجمع ملاحظات منظمة تميز الحقيقة الخاطئة والدليل الناقص والنبرة والتوجيه والفعل الفاشل. يصعب تشخيص رفض عام. اجعل الملاحظة سهلة خلال العمل الفعلي.
اختر عينات مكتملة وغير مكتملة وفق قواعد البيانات. تفوت مراجعة النجاحات فقط عبء الاستثناءات، وقد تبالغ الشكاوى وحدها في الفشل الظاهر وتخفي الإغفال الصامت. وثّق غرض العينة قبل تفسيرها.
حوّل الأنماط المؤكدة إلى اختبارات، ثم أعد تقييم الإصلاح بحالات مستقلة مناسبة. تكتشف المراقبة مشكلات التشغيل، ويساعد التقييم على الحكم على الإصلاح؛ لا يستبدل أحدهما الآخر.
اضبط حجم القياسات ومحتواها الحساس
استخدم فئات محدودة للمقاييس الإجمالية ومعرّفات الحالات في سجلات مقيدة. قد يخلق وضع كل عنوان مستند أو معرّف عميل كتسمية مقياس تعقيداً غير لازم وكشفاً لمن لا يحتاج المعلومة.
اختر أخذ العينات بوعي. يفيد الاحتفاظ بتتبعات فشل أكثر في التشخيص، لكنه لا يمثل جميع الحركة دون تحيز. احفظ الإجماليات اللازمة لتفسير المعدلات، ولا تجعل العينة التشخيصية تسقط دليل تدقيق مطلوباً مستقلاً.
حدّد وصول القياسات واحتفاظها؛ فهي مخزن بيانات آخر. احجب المحتوى عند حد جمع مناسب وقيّد التحقيق بحسب الحاجة. يعالج دليل البنية الأمنية تصميم الوصول المحيط.
راقب نظام المراقبة نفسه
تحقّق من وصول الأحداث وترابط المعرّفات وصلاحية التوقيت. قد تعني لوحة هادئة صحة الخدمة أو توقف التسجيل. راقب القياسات المفقودة وأخطاء التصدير والفجوات بعد النشر بحسب التقنية.
تأكد من تمثيل كل حالة أعمال مهمة. إذا سجّل التطبيق الإتمام قبل تأكيد الكتابة، ستعرض اللوحة حالة مضللة بدقة. تعتمد الرؤية على معنى التطبيق الصحيح لا تثبيت مكتبة تتبع فقط.
اربط الإصدارات بالسلوك حتى يمكن التحقيق في زيادة التكرار بعد تغيير مخطط أداة دون تخمين النسخة. جهّز التراجع والتعطيل الانتقائي وحدّد أثرهما على الجاري. يغطي دليل التنسيق هذا الحد.
حافظ على مراجعة تشغيلية مركزة
راجع الاتجاهات المهمة والحوادث المفتوحة وتغير المصادر وعبء المراجع وقرار التحسين التالي. لا تراكم مقاييس بلا مالك أو استخدام. أوقف ما لا يدعم قراراً وأضف ما يستلزمه النطاق الجديد.
يمكن لـOpen for AI تحديد نطاق تطوير الوكلاء باحتياجات مراقبة ومسؤوليات واضحة. ولـمناقشة قابلية رصد وكيلك، جهّز حالات الإتمام والأنظمة المستدعاة والأسئلة التي يحتاج المشغل إجابتها عند الفشل. تحدد الأسئلة القياسات الجديرة بالجمع.