منهجية اختيار عينات تدقيق الذكاء الاصطناعي

ينبغي أن تسند عينة تدقيق الذكاء الاصطناعي قراراً محدداً يتعلق بمجتمع واضح المعالم. فقد يكون الهدف تقدير تكرار توجيه الاستفسارات إلى الجهة الخطأ، أو فحص تنفيذ ضابط الموافقة، أو البحث المقصود عن إخفاق نادر. وتختلف طريقة الاختيار باختلاف هذا الهدف. فكثرة الأمثلة المتاحة لا تجعلها ممثلة للمجتمع، كما أن نجاح مجموعة اختبارات صعبة أو إخفاقها لا يحدد معدل حدوث المشكلة في الاستخدام المعتاد.

هذا الدليل موجه إلى مسؤولي التدقيق الداخلي والجودة والمقيّمين التقنيين الذين يحتاجون إلى تبرير اختيار الحالات وحدود الاستنتاج منها. ويفصل النهج المقترح بين تقدير خصائص المجتمع، واختبار الضوابط، والتحقيق الموجه. اتفقوا على هذه الأهداف عند تحديد نطاق تدقيق الذكاء الاصطناعي؛ فالعينة لا تعالج غموض حدود المهمة.

ابدأ بالعبارة المطلوب اختبارها ووحدة المعاينة والفترة

صغ العبارة بطريقة قابلة للفحص. فقول «يعمل المساعد بموثوقية» أوسع من اللازم. أما «تطابقت جهة التوجيه النهائية للاستفسارات المقبولة للمعالجة خلال الشهر المحدد مع الجهة التي حددها تقييم مستقل» فيصف نتيجة قابلة للتحقق. وحدد هل المقصود اقتراح النموذج، أم الاختيار الذي وافق عليه الموظف، أم قائمة العمل التي استقبلت الاستفسار فعلياً. هذه أحداث مختلفة، ولا يثبت اختبار أحدها حدوث البقية.

ثم عرّف وحدة المعاينة. قد يولّد استفسار واحد عدة استدعاءات للنموذج، ومحاولات متكررة، وتعديلات بشرية، وعمليات توجيه. إذا كان السؤال يتعلق بنتيجة العميل، فاستخدم الاستفسار الفريد وحدة أساسية واحتفظ بتسلسل أحداثه. أما فحص فرض الموافقة فقد تكون وحدته محاولة تنفيذ إجراء مقيد. لا تقسّم عدد العملاء المتضررين على عدد استدعاءات النموذج؛ إذ قد يخفي هذا المقام أثر الإخفاقات المتكررة.

اختر فترة تسمح باكتمال النتائج. فالاستفسار الوارد قرب موعد القطع قد يظل بانتظار المراجعة، وتكون نتيجته معلقة وليست صحيحة أو خاطئة. سجّل موعد القطع والمدة المتاحة لاستكمال المعالجة وكيفية التعامل مع الحالات غير المحسومة. وتصف العينة التاريخية الفترة والإصدارات المختبرة؛ ولا تمثل تلقائياً نموذجاً جديداً أو هيكلاً مختلفاً لقوائم العمل أو موسماً تتغير فيه طبيعة الطلب.

كوّن إطار معاينة يمكن مطابقة سجلاته

إطار المعاينة هو القائمة التي تُختار منها الحالات. استخرجه من مصدر يغطي المجتمع المقصود، ثم طابق أعداده مع إجمالي تشغيلي مستقل حيثما أمكن. افحص التكرار والمعرّفات الناقصة والمهام الملغاة وإخفاق الإدخال والسجلات المحذوفة وفق قواعد الاحتفاظ. ولا يمكن لتصدير يقتصر على الإجابات الناجحة أن يسند تقديراً لجميع الاستفسارات المقبولة للمعالجة، مهما كانت دقة الاختيار العشوائي داخله.

احفظ بياناً للإطار يوضح وقت الاستخراج وشروط الاستعلام والنظام المصدر والإصدار وعدد السجلات والاستبعادات. أدرج اللغة والقناة ومعرّفات الإصدارات اللازمة لتقسيم المجتمع إلى طبقات، مع تجنب جمع بيانات شخصية غير لازمة. واحتفظ بنسخة محمية أو مرجع يمكن إعادة إنتاجه وفق قواعد التعامل مع الأدلة. يجب أن يستطيع المراجع معرفة الحالات المؤهلة قبل الاطلاع على نتائج الحالات المختارة.

اختبر اكتمال الإطار بعملية مطابقة محدودة. تتبع سجلات من سجل قوائم العمل إلى الملف المستخرج، وتتبع صفوفاً منه عكسياً إلى مصدرها. وافحص ما إذا كان ربط الجداول يكرر الاستفسار ذي المرفقات المتعددة. وتطابق الإجماليات مفيد لكنه لا يكفي، فقد تتعادل السجلات المحذوفة مع الصفوف المكررة. عالج الفروق المؤثرة أو ضيّق المجتمع الذي يخصه الاستنتاج بصورة صريحة.

طابق طريقة الاختيار مع السؤال

طرق معاينة مقترحة وحدود الاستنتاج المسموح به

سؤال التدقيق	طريقة الاختيار	الدلالة والحدود
ما مدى تكرار خطأ محدد؟	اختيار احتمالي من مجتمع تمت مطابقة سجلاته، مع توثيق احتمالات الإدراج	قد يتيح تقديراً وتحليل عدم اليقين وفق التصميم؛ ولا يشمل الحالات الغائبة عن الإطار.
هل يعالج الضابط ظروفاً غير معتادة ومهمة؟	حالات تحدٍّ مقصودة تستهدف آليات إخفاق محددة	تكشف ما وقع في تلك الظروف، ولا تقدّر معدل الحدوث التشغيلي.
هل استُخدم الضابط عبر الفروع أو الإصدارات؟	اختيار منظم يغطي السياقات ذات الصلة	يسند استنتاجاً عن السياقات المختبرة، دون أن يكون تمثيلاً إحصائياً بالضرورة.
ما سبب حادثة معروفة؟	فحص تسلسل الحادثة والحالات المرتبطة بها	يساعد على مقارنة التفسيرات، لكن الاختيار منحاز إلى المشكلات المعروفة.
هل عالج التصحيح العيب الأصلي؟	إعادة اختبار الحالات الأصلية وحالات جديدة تستهدف الآلية المصححة	يسند استنتاجاً محدوداً عن إعادة الاختبار مع فحص التكرار والآثار الجانبية بصورة منفصلة.

يمكن الجمع بين هذه الطرق مع إبقاء نتائجها منفصلة. اعرض العينة الاحتمالية ومجموعة التحدي الموجهة بوصفهما مسارين مختلفين للأدلة، ووضح القرار الذي يخدمه كل مسار. وقد يستدعي عيب خطير تكشفه حالة موجهة احتواءً فورياً، حتى لو لم يظهر في العينة الاحتمالية. فالخطورة والتكرار يجيبان عن سؤالين مختلفين.

مثال تطبيقي: توجيه استفسارات المفقودات بلغتين

لنفترض مركز خدمة يستخدم مساعداً لتوجيه استفسارات المفقودات إلى الفريق المختص. يتكون المجتمع الشهري المؤهل من 8,000 استفسار فريد مكتمل: 6,000 بالإنجليزية و2,000 بالعربية. يريد المدقق تقديراً إجمالياً لخطأ التوجيه، وعدداً كافياً من الحالات العربية لفحص سلوك النظام في هذه اللغة. لذلك يختار عشوائياً 200 استفسار من كل مجموعة لغوية. الأرقام توضيحية، وليست حجم عينة موصى به أو نتائج عميل فعلي.

توزيع افتراضي غير متناسب وأوزان المجتمع

الطبقة اللغوية	حجم المجتمع	العينة العشوائية	أخطاء التوجيه المؤكدة	نسبة الخطأ في العينة
الإنجليزية	6,000	200	4	2%
العربية	2,000	200	16	8%
الإجمالي	8,000	400	20	النسبة المجمعة 5% ليست التقدير المرجح وفق المجتمع.

وزن الإنجليزية في المجتمع 75% ووزن العربية 25%. نضرب نسبة الخطأ داخل كل طبقة في وزنها المجتمعي ثم نجمع الناتجين، فيكون التقدير النقطي الإجمالي 3.5%. أما قسمة 20 خطأ على 400 استفسار مختبر فتعطي 5%، وهي تمنح الحالات العربية وزناً أكبر من وزنها الفعلي لأن نسبة اختيارها كانت أعلى. ولا يوفّر أي الرقمين منفرداً فترة لعدم اليقين؛ فذلك يتطلب حساباً يناسب تصميم العينة الطبقية وافتراضاته.

ويحتاج الفرق اللغوي إلى تفسير. فقد يرتبط بتعقيد الاستفسارات أو كتابة الأسماء بحروف لغة أخرى أو فئات التوجيه أو جودة المصادر أو سلوك النموذج. تثبت العينة الأخطاء المرصودة وفق قاعدة الحكم المتفق عليها، ولا تثبت سببها. افحص خصائص الحالات قبل نسبة الفجوة إلى اللغة وحدها. ويتناول تقييم الإنصاف أسئلة إضافية عن الفئات المتأثرة وعدالة المقارنة وأهمية الفروق.

يجري الفريق أيضاً 36 حالة صعبة اختيرت عمداً لوصف مختلط اللغة وإشارات مكانية ملتبسة، ويجد 14 إخفاقاً. تُعرض هذه النتائج منفصلة. فضمها إلى العينة العشوائية يفسد تقدير الانتشار لأن آلية اختيارها مختلفة. وتكمن قيمتها في التشخيص: فهي تكشف آليات قد لا تظهر بما يكفي في المعاينة المعتادة.

حدّد الحجم انطلاقاً من القرار المطلوب

طلب «100 سجل لكل نظام» يتجاوز الأسئلة الأساسية: ما معدل الخطأ الذي يغير القرار؟ ما الدقة المطلوبة؟ هل نريد اكتشاف حالة واحدة على الأقل من عيب معين، أم مقارنة مجموعات، أم فحص انتظام تنفيذ ضابط؟ ما مقدار اختلاف الحالات؟ وهل النتائج مستقلة بما يكفي؟ وما الموارد اللازمة لحكم بشري موثوق؟ قد تعطي عينة أكبر ذات تصنيفات ضعيفة جواباً دقيق المظهر عن السؤال الخطأ.

في التقدير الإحصائي، اطلب من مختص مناسب توثيق طريقة حساب الثقة والنسبة المتوقعة والدقة المطلوبة ومعالجة المجتمع المحدود والطبقات والتجمعات. احفظ الافتراضات قبل الاطلاع على النتيجة النهائية. وإذا كان الاختيار حكمياً، فاشرح سبب أهمية الحالات المختارة وتجنب لغة الثقة الإحصائية. قد تقيد الميزانية الاستنتاج الممكن، لكنها لا تصلح مبرراً إحصائياً بحد ذاتها.

وتتطلب الأضرار النادرة نهجاً مختلفاً أحياناً. قد تعكس العينة العشوائية الاستخدام المعتاد جيداً، مع احتمال ضئيل لمصادفة حالة نادرة شديدة العواقب. اجمعها مع اختبارات تحدٍّ محددة وأدلة على الضوابط الوقائية. ولا تعد بأن زيادة العينة وحدها تثبت السلامة. يجب أن يوضح سجل التغطية والقيود السيناريوهات المهمة التي لم تُختبر وأسباب ذلك.

كيف نفسّر عدم رصد إخفاقات؟

لنفترض اختباراً توضيحياً منفصلاً لم يرصد أي إخفاق في 60 تجربة مستقلة، لكل منها احتمال الإخفاق المجهول نفسه. وفق النموذج ذي الحدين البسيط، يُحسب الحد الأعلى أحادي الطرف عند مستوى ثقة 95% بطرح حاصل رفع 0.05 إلى قوة واحد مقسوماً على 60 من العدد واحد؛ والنتيجة نحو 4.87%. هذا استنتاج مشروط بالنموذج الإحصائي، وليس إثباتاً أن معدل إخفاق النظام صفر. كما أنه ليس احتمالاً بأن المعلمة الثابتة المجهولة تقع دون الحد.

يوضح مرجع NIST لفترات الثقة الدقيقة للتوزيع ذي الحدين طرق الحساب الدقيقة ومشكلة استخدام التقريب الطبيعي عندما تكون الإخفاقات قليلة. والحساب المبسط السابق يفترض نموذجاً معيناً؛ فلا يناسب تلقائياً المعاينة دون إرجاع من مجتمع محدود، أو السجلات المترابطة، أو الاختيار المتكيف، أو التجارب المختلفة الاحتمالات. يجب أن يختار مراجع ذو كفاءة إحصائية الطريقة الموافقة للتصميم الفعلي.

قد يكشف إرسال الاستفسار نفسه مراراً تغير المخرجات، لكنه لا ينشئ 60 موقفاً مستقلاً لعملاء مختلفين. وقد ترتبط النتائج بسبب اشتراك الحالات في وثيقة مصدر أو إجراء فرع أو مراجع بشري. سجّل عدد الحالات المتميزة وعدد مرات التشغيل معاً، ووضح هل يتعلق الاستنتاج بالاختلاف بين المهام أم داخل المهمة الواحدة أم بكليهما. لا تخفِ هذه المصادر المختلفة لعدم اليقين داخل رقم ثقة واحد.

احمِ الاختيار والحكم من الانحياز

نفّذ الاختيار العشوائي بعد تثبيت الإطار وقواعد الأهلية. احتفظ بطريقة الاختيار أو شيفرته، وبذرة التوليد العشوائي إن استُخدمت، ومعرّف الإطار وإصدار البرمجية اللازم لإعادة الاختيار. العشوائية لا تعالج إطاراً منحازاً، لكن توثيقها يكشف الاستبدال الانتقائي. واضبط الوصول إلى النتائج قبل الاختيار حيثما أمكن، خصوصاً إذا كان المورد هو من يقدّم السجلات.

ضع قاعدة الحكم على الخطأ بصورة مستقلة عن إجابة النظام المفضلة. ففي مثال المفقودات قد تكون جهتان مقبولتين إذا كانت المعلومات ناقصة. يجب تحديد متى يُطلب التوضيح، ومتى تُقبل عدة وجهات، وكيف تُحسم الحالات غير المؤكدة. استخدم مراجعين مؤهلين للعربية والنص المختلط؛ فقد تزيل الترجمة الآلية الالتباس الذي واجهه النظام أصلاً.

عالج اختلاف المراجعين بإجراء موثق، مع حفظ التصنيفات الأصلية وسبب الخلاف والحكم النهائي بدلاً من محو السجل السابق. وافحص بعض الحالات المصنفة صحيحة أيضاً، فقد تفوت المقيم أخطاء دقيقة. وإذا ساعد مقيم آلي في الحكم، فتحقق من ملاءمته بحالات راجعها البشر واحتفظ بأخطائه ظاهرة. يشرح دليل نزاهة التقييم تلوث الاختبار وصلاحية المقيم وأسباب تضليل الدرجات.

تعامل صراحة مع السجلات الناقصة وتغير النظام

السجل المختار الذي يتعذر الحصول عليه ليس حالة ناجحة. ميّز أولاً بين حالة غير مؤهلة، وسجل غير متاح، ونتيجة معلقة، ومصدر يتعذر قراءته. طبّق قاعدة الاستبدال المتفق عليها قبل الاختبار، ولا تختَر حالة مجاورة أسهل للحفاظ على العدد المطلوب. اعرض الاختيارات الأصلية والوحدات المختبرة والاستبعادات والاستبدالات والحالات غير المحسومة كلّاً على حدة. وإذا ارتبط غياب السجلات بالإخفاقات المحتملة، فوضح الانحياز الناتج.

قد يقسم إصدار جديد أثناء العمل الميداني المجتمع إلى مجموعات مختلفة جوهرياً. احتفظ بنتائج الإصدار السابق وحدد هل يحتاج الجديد إلى عينة منفصلة. وقد يصلح الدمج لتقدير موزون يخص الفترة كلها، لكنه لا يكفي للاستنتاج عن الإصدار الجديد منفرداً. وثّق تغير تعليمات النموذج ومصادر الاسترجاع وقواعد التوجيه وإجراءات الموظفين، وليس اسم النموذج فقط.

عندما تؤدي النتائج الأولية إلى توسيع الاختبار، سجّل السبب وافصل التصميم الأصلي عن التوسع. التحقيق المتكيف مفيد، لكن ادعاءات الثقة المعتادة لعينة ثابتة قد لا تعود صالحة. يمكن عرض تقدير احتمالي أولي وتحقيق تشخيصي لاحق بصدق، دون دمج المقامات أو الإيحاء بأن الإجراء الموسع خُطط له بالكامل منذ البداية.

افصل الاستكشاف والتأكيد والتقدير

قد يكشف اختبار تمهيدي قصير تعذر تنفيذ الفحص بطريقة متسقة؛ كاختلاف المراجعين حول جهة التوجيه الصحيحة أو غياب الوجهة النهائية من الملف المستخرج. استخدمه لتحسين قواعد الحكم والاستخراج قبل تثبيت التصميم الأساسي. ولا تحتفظ سراً بالمشاهدات التمهيدية المواتية وتستبعد غيرها. حدّد مسبقاً هل ستُستبعد الحالات التمهيدية من عينة التقدير، واحفظ المبرر في ورقة العمل.

ويختلف الاستكشاف عن التأكيد. فالحالة المكتشفة من شكوى موظف مفيدة لفهم عيب مشتبه به، وقد تؤكد إعادة اختبارها بعد توضيح القواعد حدوث المشكلة في ظروف مضبوطة. لكن أيّاً من الخطوتين لا يجعل الشكوى ممثلة للمجتمع. تجيب العينة الاحتمالية اللاحقة عن سؤال مختلف: كم مرة يظهر العيب المعرّف في السجلات التشغيلية المؤهلة؟ يتيح فصل المراحل التعلم أثناء التدقيق دون عرض اختيار موجه بالتعلم كأنه تجربة إحصائية محددة مسبقاً.

في مثال المفقودات، قد يختلف المراجعون حول استفسار يذكر محطة ومركبة معاً. ينبغي حسم معيار التوجيه مع مسؤول العملية، مع حفظ موضع الالتباس وتاريخ التوضيح. وإذا كان الإجراء المنشور نفسه غامضاً خلال الفترة المختبرة، فقد يسند ذلك ملاحظة منفصلة عن تصميم العملية. أما اختراع قاعدة أوضح بأثر رجعي وتصنيف كل مخالفة سابقة لها خطأً من الموظف فيشوّه دلالة الأدلة.

اتفقوا على أثر التفسيرات المعقولة للحالات غير المحسومة في القرار. إذا أمكن تصنيف سجلات محددة بأكثر من وجه، فاعرض تحليل حساسية أو فئة مستقلة لعدم الحسم بدلاً من اختيار التصنيف الذي يحسّن العنوان الرئيسي. لا يعوّض تحليل الحساسية نقص الدليل، لكنه يبين مدى ثبات القرار أمام عدم اليقين المتبقي. واشرح مقام كل نتيجة معروضة.

وأخيراً، ميّز قاعدة إيقاف الاختبار عن التوقف الملائم للنتيجة المرغوبة. قد ينص البروتوكول على وقف الفحص والتصعيد عند ظهور حالة خطيرة لتجنب تعرض غير لازم. وثّق القرار وأثره في التقدير المخطط. أما التوقف لأن النسبة أصبحت مواتية فقد يبطل الاستدلال المقصود. ينبغي أن يعتمد مسؤول التدقيق تعديلات الخطة، وأن يوضح التقرير التغييرات المؤثرة في تفسير النتائج.

خطة معاينة قابلة للمراجعة

حقول عملية لخطة المعاينة وكيفية مراجعتها

الحقل	ما يجب تسجيله	سؤال المراجعة
العبارة والوحدة	جهة التوجيه النهائية لكل استفسار فريد مكتمل	هل يثبت الدليل النتيجة الفعلية أم مجرد الاقتراح؟
المجتمع والإطار	الفترة والأهلية والاستعلام والمطابقة والاستبعادات	هل قد تغيب مهام غير ناجحة أو محذوفة؟
الاختيار والتوزيع	الطريقة والطبقات واحتمالات الإدراج ومعلومات إعادة الاختيار	هل يسمح الاختيار بالاستنتاج المعلن؟
الحكم على الحالات	القواعد وكفاءة المراجعين وتسوية الخلاف ومعالجة عدم اليقين	هل تُجبر حالة ملتبسة على تصنيف مريح؟
التحليل	البسط والمقام والأوزان وطريقة عدم اليقين والنتائج الناقصة	هل بقيت الاختبارات الموجهة منفصلة عن تقدير الانتشار؟
القيود والقرارات	السياقات غير المختبرة وحدود الإصدارات وشروط التصعيد	هل قد يعمم القارئ النتيجة أكثر مما تسمح به الأدلة؟

قبل الإنهاء، اطلب من مراجع تتبع سجل مختار من الإطار إلى الاختيار والدليل والحكم ثم النتيجة المنشورة. قد تكشف هذه الخطوة ربطاً ناقصاً أو استبعاداً غير مفسر أو مقاماً تغير أثناء التحليل. احفظها ضمن أوراق عمل التدقيق. وتعني قابلية إعادة الفحص وضوح سلسلة الأدلة والاستدلال؛ ولا يلزم أن يعيد النموذج غير الحتمي الجملة نفسها حتى يبقى الرصد الأصلي موثقاً.

عند تحديد نطاق مهمة لمنشأة سعودية، جهّز وصف العملية واللغات والقنوات والإصدارات والأعداد التشغيلية المتاحة والقرارات المطلوبة. لا ترسل استفسارات شخصية غير مقنّعة في الطلب الأولي. يمكن مناقشة خدمة OpenForAI لتدقيق الذكاء الاصطناعي بوصفها تقييماً تقنياً محدد الحدود يستند إلى الأدلة، مع الاتفاق على المعاينة وحدود التقرير. ناقش مجتمع المعاينة واحتياجات عينة تدقيق نظامك.