اختبار وكلاء الذكاء الاصطناعي وتقييمهم

يجب أن يثبت تقييم وكيل الذكاء الاصطناعي إتمام المهمة المدعومة واحترام القيود وترك الأنظمة الخارجية بحالة صحيحة. لا يكفي تقييم الجواب النهائي عندما يسترجع الوكيل معلومات مقيدة أو يستخدم أدوات أو يغيّر سجلات أو ينتظر اعتماداً.

يقدم الدليل لمالكي المنتجات والجودة والهندسة تصميماً عملياً. المثال مساعد معلومات خدمات يشرح متطلبات طلبات منشورة من مصادر معتمدة، ويحدد النواقص ويحيل الأسئلة، دون اتخاذ قرار الجهة النهائي في الأهلية. جميع المجموعات والأعداد أدناه تصميم اختبار مقترح لا نتائج منفذة.

عرّف المهمة والمحاولة والنتيجة

المهمة حالة تقييم بشروط أولية وسلوك متوقع. والمحاولة تنفيذ واحد لها. ويسجل التتبع نشاط النموذج والأدوات، بينما تشمل النتيجة ما تسلمه المستخدم وما تغير في البيئة.

تميّز إرشادات Anthropic المهام والمحاولات المتكررة والتتبعات والنتائج، وتناقش طرق التقدير. يفيد الفرق لأن جواباً مقبولاً ظاهرياً قد يخفي فعلاً خاطئاً. انظر مناقشة التقييم الأصلية.

اكتب عقد القبول قبل فحص المخرج الأخير حتى لا يُعاد تعريف النجاح ليلائم العرض. تحدد الحالة المستخدم المخوّل والمصادر وإصداراتها والحالة الأولية والتصرف المتوقع والسلوك الممنوع.

ابدأ بالأخطاء المؤثرة في العمل

تشمل أخطاء المساعد الاستشهاد بوثيقة غير منطبقة، واعتبار المسودة سياسة منشورة، واختلاق متطلب ناقص، وكشف مصدر مقيد، والادعاء بقبول الطلب. تأتي الصياغة بعد هذه الالتزامات.

أدرج الغموض المفيد أيضاً. إذا تعذر المصدر، فقد تكون الإجابة الصحيحة قيداً واضحاً وإحالة معتمدة. وإذا غاب سياق اختيار السياسة، فقد يكون السؤال المحدد صحيحاً. لا تعتبر كل استيضاح أو تصعيد فشلاً لأنه لم يقدم جواباً فورياً.

افصل الأخطاء الحاسمة عن درجات الجودة. لا تُخفِ إفشاءً غير مصرح به داخل متوسط يكافئ النبرة والتنسيق. حدّد موانع الإطلاق مع مسؤولي الأعمال والأمن بما يناسب الاستخدام.

مجموعة تقييم تطبيقية

نفترض 120 مهمة مختلفة، منها 60 بالإنجليزية و60 بالعربية. تصف الفئات التحدي الأساسي، بينما اللغة بعد مستقل. الأعداد توضيحية وتُكيّف مع العبء والعواقب الفعلية.

مجموعة توضيحية لتقييم مساعد معلومات خدمات

التحدي الأساسي	المهام	الدليل المتوقع
أسئلة معتادة مدعومة	40	حقائق منطبقة صحيحة بمصادر داعمة
سياق مستخدم ناقص	30	استيضاح محدد دون قرار غير مدعوم
مصادر متعارضة أو مستبدلة	20	إصدار صحيح أو تعارض غير محسوم واضح
طلبات بيانات مقيدة	20	فرض الوصول واستجابة مناسبة
تعطل خدمة المصدر	10	قيد صادق وبديل محدد

تشغيل كل مهمة 3 مرات ينتج 120 × 3 = 360 محاولة. يفيد التكرار في فحص التباين، لكن 360 تنفيذاً لـ120 مهمة ليست 360 سيناريو أعمال مستقلاً. احفظ تجميع المهام عند التفسير ولا تعرض التكرار كتغطية أوسع.

وازن اللغتين داخل الفئات حين يمكن. إذا كانت العربية سهلة والإنجليزية مليئة بالاستثناءات، ضللت المقارنة. كذلك لا تعرض مجموعة صعبة صُممت للتحدي كتقدير مباشر لمعدل الفشل المعتاد في الإنتاج.

افصل حالات التطوير عن أدلة الإطلاق

استخدم حالات التطوير للتشخيص والتحسين، واحتفظ بمجموعة تقييم لا تظهر باستمرار أثناء الضبط. إذا تحولت حالة محجوزة إلى تصحيح متكرر، فاعترف بفقد جزء من استقلالها وحدّث التقييم.

وثّق الاختيار. عينات الإنتاج والحالات الحدية التي يصممها الخبراء والتنويعات الاصطناعية تخدم أغراضاً مختلفة. قد تختبر حالة مصطنعة ضبطاً محدداً دون إثبات تكراره في حركة العملاء.

احمِ البيانات الحساسة مع الحفاظ على العلاقات اللازمة للاختبار وحذف غير الضروري. تحقّق من أن الحجب لم يزل الغموض أو حد الصلاحية الذي تستهدفه الحالة.

اختر المقيم المناسب لكل التزام

استخدم فحوصاً حتمية للبنية والحقول وأسماء الأدوات ونطاق الهوية وحالة الوجهة. لا تجعل نموذجاً لغوياً السلطة الوحيدة لتقرير استدعاء أداة محظورة أو تكرار معاملة.

استخدم معياراً دلالياً واضحاً لدعم الحقائق وحفظ الشروط والاكتمال وملاءمة الاستيضاح. قدّم أمثلة مقبولة ومرفوضة واسمح بصيغ مختلفة عند صحة المعنى والسلوك.

استخدم مراجعة بشرية مؤهلة للحكم المجالي المؤثر والدقائق اللغوية التي لم يثبت المقيم الآلي قدرته عليها. يساعد الآلي على التوسع لكنه يحتاج معايرة أمام قرارات بشرية وفحصاً عند تغير النظام.

معيار مقترح للإجابة

• الأدلة: تدعم كل عبارة واقعية مؤثرة وثيقة معتمدة منطبقة.
• النطاق: يميز الجواب المعلومات عن قرار الأهلية أو الاعتماد النهائي.
• الغموض: تبقى الأدلة الناقصة والمتعارضة ظاهرة.
• اللغة: تحفظ الشروط والنفي والتواريخ والمعرّفات معناها.
• المنفعة: يحصل المستخدم على خطوة عملية دون وعد غير مدعوم.

سجّل سبب الرسوب لا الدرجة فقط. يشير «إصدار سياسة خاطئ» إلى الاسترجاع أو البيانات الوصفية، و«مصدر صحيح واستثناء محرف» إلى التفسير أو التوليد. يحول ذلك التقييم إلى تشخيص لا لوحة ترتيب.

افحص المسار دون فرض طريق واحد

قد تسمح الحالة بتسلسلات صحيحة متعددة. قيّم القيود والنتيجة لا تقليد تتبع مرجعي واحد. وافحص الوصول غير المصرح والتكرار الزائد والموافقة الناقصة حتى مع صحة الجواب.

للأفعال الكتابية، افحص النظام المستقبل. لا تثبت رسالة الإتمام وجود السجل الصحيح. اختبر الأحداث المكررة وانتهاء المهلة بعد الإرسال والإلغاء والاستئناف. يشرح دليل التنسيق الحالات المطلوبة.

استخدم أدوات محاكاة لاختبارات سريعة مضبوطة عند ملاءمتها، ثم تحقّق من العقود في بيئة التكامل المقصودة. قد تخفي محاكاة تعيد نتائج نظيفة دائماً أخطاء الإنتاج. أظهر قيودها في التقرير.

استخدم إجمالي حالات يناسب السؤال

حدّد المهام المحتسبة والتصرف الذي يحقق النجاح. افصل جودة الأجوبة المجابة عن التغطية لجميع المهام، حتى لا يتحسن الظاهر بمجرد رفض الصعب.

أظهر الأخطاء الحاسمة بأعدادها ووصفها مستقلة، وأدرج الاستيضاح والتصعيد والترك والنتائج التقنية الغامضة. رفض كشف بيانات مقيدة نجاح ضبط، ورفض عمل مدعوم دون داعٍ فشل استخدام.

قِس جهد المراجعة والزمن والموارد مع الجودة، بما يشمل التكرار والفشل. قد يحتاج تحسن الإجابة الذي يزيد التصحيح أو الانتظار كثيراً إلى حدود تشغيل أخرى. يربط إطار العائد القياس التشغيلي بالتقييم التجاري لاحقاً.

قارن الإصدارات بشروط مضبوطة

سجّل إعداد النموذج والتعليمات ومخططات الأدوات والاسترجاع ونسخة المصادر والتطبيق. حافظ على المقارنة، ولا تنسب كل فرق إلى النموذج إذا تغيرت المصادر معه.

قارن بخط أساس مفيد: العمل اليدوي أو مسار ثابت أو الإصدار السابق. اختر الحالات التي تجيب عن السؤال. مقارنة وكيلين لا تحسم كفاية واجهة بحث عادية للحاجة.

افحص التراجع حسب الفئة؛ فقد يتحسن الجواب المعتاد وتضعف استيضاحات العربية أو حماية المصادر. يفصل دليل العربية فحوص اللغة، ويغطي دليل الضوابط اختبارات الفرض.

عاير المراجعة قبل الثقة بالمتوسط

اطلب تقييماً مستقلاً لعينة مشتركة، ثم ناقش الاختلاف بالمعيار والمصادر. افصل غموض الحالة عن عدم اتساق التقدير، وصحح المعايير قبل اعتبار فروق صغيرة مهمة.

أخفِ هوية المرشح أثناء المقارنة حيث يناسب حتى يركز المقيم على الناتج لا المورد المفضل. حافظ على ترتيب المحادثة وسياقها الضروريين مع حذف الإشارات غير اللازمة المؤثرة في الحكم.

لا يثبت النجاح الكامل في مجموعة محدودة استحالة الفشل. اذكر النطاق وحدود العينة والفئات المفتوحة. يجمع قرار الإطلاق الأدلة بعواقب الخطأ وضوابط التشغيل، ولا يقدم الدرجة ضماناً.

واصل التقييم بعد الإطلاق

تكشف المراقبة أنماط فشل جديدة وتغير المصادر وسلوك المستخدم. حوّل الحوادث المؤكدة إلى اختبارات بعد معالجة البيانات المناسبة، واحتفظ بحالات جديدة مستقلة عند الحاجة حتى لا تصبح المجموعة ذاكرة للأخطاء المصححة فقط.

لا يثبت التوافر والزمن الجيد جودة المهمة. اجمع المراجعة الموجهة وأدلة النتائج مع القياسات التقنية. يشرح دليل المراقبة طبقة التشغيل.

يمكن لـOpen for AI تحديد نطاق تطوير الوكلاء بخطة تقييم مرتبطة بالعمل. ولـمناقشة أدلة قبول وكيلك، جهّز مدخلات ممثلة ونتائج غير مقبولة وصاحب صلاحية تعريف الإتمام الصحيح. هذا أساس مجموعة اختبار مفيدة.