ما تدقيق الذكاء الاصطناعي؟

تدقيق الذكاء الاصطناعي هو فحص منظم لنظام محدد وفق معايير معلنة، باستخدام أدلة تسمح باستنتاج محدود بحدود العمل المنفذ. والسؤال العملي هو: هل تدعم الأدلة ادعاءً معيناً بشأن سلوك النظام أو ضوابطه أو تشغيله بما يكفي لاتخاذ قرار محدد؟ فقد تحتاج المنشأة إلى تقرير يساند قرار إطلاق مسار عمل، أو تقييد استخدام قائم، أو مطالبة المورد بتعديل، أو طلب اختبارات إضافية.

هذا الدليل موجه إلى أصحاب الأعمال والقيادات التقنية وفرق التدقيق الذين يريدون فهم ما يشترونه. ينبغي أن يوضح التدقيق الصلة بين المتطلب والدليل المفحوص والنتيجة الملحوظة والاستنتاج المستخلص، وأن يكشف الأدلة الناقصة أيضاً. وتظهر فائدته عندما يستطيع القارئ التمييز بين ضابط عمل أثناء الاختبار، وضابط لم يتجاوز وجوده الوصف في سياسة مكتوبة.

موضوع التدقيق هو النظام أثناء أداء وظيفته

يتجاوز نظام الذكاء الاصطناعي النموذج نفسه. فالبيانات تجمع وتحول، والنموذج ينتج مخرجات، والبرمجيات تعرضها أو تنفذ إجراءات اعتماداً عليها، والأشخاص يفسرونها، ثم تحفظ السجلات أو تحذف. ويمكن لكل مرحلة أن تغير النتيجة العملية. فقد يعمل نموذج جيد داخل مسار يرسل المعلومات إلى شخص غير مخول، أو تتحول توصية صحيحة إلى مشكلة عندما يعاملها المستخدم على أنها قرار معتمد.

لذلك يجب أن يحدد نطاق التدقيق حالة الاستخدام والمستخدمين والإجراءات المسموحة ومصادر البيانات والبيئات والإصدارات. ويجب تحديد الفترة أيضاً؛ ففحص الإعدادات في لحظة معينة يجيب عن سؤال مختلف عن فحص التشغيل خلال أسابيع. وعبارة «تم تدقيق الذكاء الاصطناعي» وحدها تخفي هذه الفروق. يحتاج المشتري إلى معرفة ما تغير بعد جمع الأدلة، وهل يؤثر التغيير في صلاحية الاعتماد على الاستنتاج.

يجمع دليل تخطيط تقييمات ARIA الصادر عن NIST بين اختبار النموذج والاختبار الهجومي المنضبط واختبار المستخدم عند تصميم تقييم شامل. وهذا مرجع مفيد لاختيار أدلة متكاملة، لكنه لا يحول مجموعة اختبارات إلى شهادة. ويظل لكل تدقيق غرضه ومعاييره وحدود تقريره المتفق عليها.

ابدأ بادعاء قابل للفحص

عبارة «مساعدنا جدير بالثقة» واسعة جداً للاختبار المباشر. أما عبارة «يحيل المساعد أوصاف الصور غير المؤكدة إلى مراجع بشري قبل إدخالها في سجل الحالة» فتحدد سلوكاً وانتقالاً في مسار العمل ونقطة قرار. ويمكن عندها السؤال: ما تعريف عدم اليقين؟ وأين يفرض شرط المراجعة؟ وما السجلات التي تثبت تشغيله؟ وهل يوجد مسار يسمح بتجاوزه؟

قد يتعلق الادعاء بالأداء أو الوصول أو الموافقات أو حفظ السجلات أو الحوكمة. ولكل منها أدلته المناسبة. فلا تثبت عينة إجابات صحيحة إنفاذ صلاحيات الوصول، ولا يثبت مخطط الصلاحيات دقة الأوصاف العربية، ولا تثبت سياسة موقعة أن الموظفين راجعوا المخرجات فعلياً. وتقسيم الادعاء العام إلى عبارات قابلة للاختبار يمنع الأدلة القوية في جانب من إخفاء سؤال بلا جواب في جانب آخر.

ينبغي الاتفاق على المعايير قبل ظهور النتائج. وقد تستند إلى متطلبات واجبة التطبيق، أو سياسات داخلية معتمدة، أو التزامات تعاقدية، أو قاعدة تقييم موضوعة للتكليف وموسومة بوضوح على هذا الأساس. ويسجل مصدر كل معيار ومالكه. ولا يصح استبدال معيار فشل النظام في تحقيقه بآخر أسهل دون توضيح. وإذا اتضح أن المعيار الأصلي غير مناسب، يوثق تعديله وأثره في الاستنتاج.

مثال تطبيقي: وصف صور تلف الشحنات

لنفترض وجود مشغل شحن يستخدم الذكاء الاصطناعي لصياغة أوصاف أولية لتلف العبوات الظاهر في الصور. يساعد النظام مراجعاً بشرياً على وصف السمات المرئية؛ ولا يقدر قيمة الضرر أو يحدد المسؤولية أو يعتمد التعويض أو يستنتج سبب الحادث. وهذه الحدود أساسية: فوصف انبعاج بصورة مقنعة لا يثبت وقت حدوثه ولا الطرف الذي تسبب فيه.

يشمل التدقيق الافتراضي إصداراً واحداً من التطبيق المنشور، ولغتين مدعومتين، وانتقال الوصف بعد مراجعته إلى سجل إدارة الحالات. ويفحص التزام الوصف بالأدلة المرئية، ووصول عدم اليقين إلى المراجع، وحفاظ السجل النهائي على الفرق بين مسودة الذكاء الاصطناعي والتعديل البشري. وتحجب معرفات العملاء في مجموعة التقييم، ويتولى أشخاص مخولون التحكم في الوصول إلى الصور الأصلية.

خريطة توضيحية تربط الأدلة بالاستنتاج في مسار وصف الصور

الادعاء	الإجراء والدليل	الاستنتاج المسموح
الأوصاف لا تضيف تلفاً غير ظاهر في الصورة	مقارنة مسودات مختارة بالصور وفق معايير مراجعة متفق عليها، وتسجيل الحالات المختلف عليها منفصلة	الدعم أو الاستثناءات الملحوظة في الحالات المختارة مع بيان حدود الاختيار
المسودات غير المؤكدة تتطلب مراجعة	فحص انتقال الحالة الملزم واختبار حالات عدم يقين مضبوطة	هل اشترط الانتقال المختبر مراجعة في تلك الإعدادات؟
السجل النهائي يحدد التعديلات البشرية	تتبع المسودة وهوية المراجع والتعديل والسجل المحفوظ في حالات مكتملة مختارة	هل أمكن تتبع مصدر التعديل في تلك السجلات؟
المساعد يحدد المسؤولية تحديداً صحيحاً	لا يوجد إجراء لهذا الادعاء؛ فتحديد المسؤولية خارج الاستخدام والنطاق المتفق عليهما	لا استنتاج بشأن المسؤولية أو التعويض أو تقدير القيمة

هذا الجدول مثال أصلي للتخطيط وليس قائمة تنظيمية ملزمة. وتكمن فائدته في ربط كل استنتاج بإجراء. فإذا تعذر استرجاع سجل التعديل البشري، فلا يصح القول مباشرة إن التعديل لم يسجل. يجب أولاً التمييز بين نقص ملف التصدير، وقصور الاحتفاظ بالسجلات، وعدم تسجيل التعديل فعلاً. وقد تتعلق الملاحظة النهائية بإتاحة الدليل بدلاً من الادعاء الأصلي.

كيف تستخدم الوثائق والاختبارات والمقابلات؟

توضح الوثائق التصميم المقصود والالتزامات التي يمكن فحص النظام وفقها. وتساعد الإعدادات وأدلة التنفيذ على تحديد وجود الضابط. وتبين الاختبارات المنفذة السلوك في ظروف محددة، بينما قد توضح سجلات التشغيل كيفية عمل الضابط خلال فترة. أما المقابلات فتفسر المسؤوليات وتكشف التناقضات المحتملة، لكن الشرح الواثق لا يعوض السجل المفقود.

تقوى الأدلة عندما يؤيد بعضها بعضاً. فلنفترض أن الإجراء يفرض اعتماد كل وصف، وأن الواجهة تعرض زر موافقة، وأن سجلات محفوظة تتضمن هويات المراجعين. ما زال المدقق بحاجة إلى معرفة ما إذا كان الحفظ ممكناً دون موافقة، وهل ترتبط الهوية بالنص نفسه الذي حفظ. وجود الأجزاء يوفر سياقاً ضرورياً، لكن العلاقة بينها هي التي تحدد ما تثبته.

وقد تناقض الأدلة الادعاء؛ كأن يتجاوز اختبار مضبوط قيداً موثقاً، أو يكشف سجل محفوظ انتقال مخرج غير معتمد إلى العمل. يجب الاحتفاظ بهذا الدليل وعدم إخفائه داخل متوسط من العروض الناجحة. ويوضح التكليف طريقة إعادة إنتاج الملاحظات المختلف عليها، وفحص التفسيرات البديلة، والجهة التي تراجع الاستدلال قبل إصدار التقرير.

فاعلية التصميم وفاعلية التشغيل سؤالان مختلفان

تفحص مراجعة التصميم قدرة الضابط المقترح على معالجة خطر محدد إذا نفذ واستخدم كما ينبغي. ويتحقق فحص التنفيذ من وجود الضابط في البيئة محل الفحص. أما مراجعة التشغيل فتسأل هل عمل الضابط في الأحداث والفترة المختارة. وهذه أسئلة مترابطة، لكن لا يحل أحدها محل الآخر دون تفسير.

في مثال الصور، قد يكون إلزام حقل للمراجع داخل نموذج البيانات تصميماً مناسباً. ومشاهدة الحقل في بيئة الاختبار تؤكد جانباً من التنفيذ فقط. وقد يكشف تتبع الحالات المكتملة أن حساب خدمة يملأ الحقل تلقائياً، بما يبطل معناه المقصود. وفي المقابل، قد تمنع السجلات التاريخية الناقصة استنتاجاً عن التشغيل السابق، رغم أن الضابط الجديد يعمل الآن. عندها يحدد التقرير فجوة الدليل والفترة المتأثرة.

يغير هذا التمييز المخرجات المتوقعة. فقد يركز تدقيق ما قبل الإطلاق على التصميم والاختبارات المضبوطة وشروط الإطلاق. ويمكن لتدقيق ما بعد الإطلاق فحص التشغيل بقدر وجود سجلات موثوقة. ويجب أن يبين تحديد نطاق تدقيق الذكاء الاصطناعي هذه الخيارات قبل مقارنة مقدمي الخدمة أو افتراض أن كل تدقيق يقدم العمق نفسه.

قراءة النتائج دون مبالغة

لنفترض تقييماً توضيحياً يضم 120 حالة تصوير: 80 حالة اعتيادية اختيرت من مجتمع تشغيل محدد، و40 حالة صعبة اختيرت عمداً لتشمل الوهج وزوايا الرؤية الجزئية وضعف التركيز. تجيب المجموعتان عن سؤالين مختلفين. وقد يدعم الاختيار الاعتيادي استدلالاً على مجتمع الحالات إذا سمحت افتراضات المعاينة بذلك. أما مجموعة التحدي فتكشف ضعفاً في ظروف مختارة، ولا تمثل نسبة إخفاقها تقديراً للانتشار اليومي.

إذا احتوت 7 حالات من مجموعة التحدي على أوصاف غير مسندة، واختلف المراجعون بشأن 3 حالات أخرى، فيعرض التقرير 7 استثناءات مؤكدة و3 تقييمات غير محسومة، مع المقامات والمعايير. ولا يحول الخلاف بصمت إلى نجاح، ولا يدمج مجموعتين مختلفتين في درجة دقة عامة، ولا يعتبر بقية الصور دليلاً على سلامة النظام. فقد تتغير الأدلة بتغير المراجع أو الصور أو إصدار النظام.

ثلاث عبارات عن التدقيق الافتراضي نفسه

العبارة	تقييمها	الصياغة الأدق
موثوقية النظام 100%	غير مسندة؛ لم تفحص جميع الحالات والظروف الممكنة	عرض النتائج الملحوظة والظروف الجوهرية غير المختبرة
سبعة إخفاقات تثبت نسبة إخفاق إنتاجية قدرها 17.5%	غير مسندة؛ فالنتيجة تخص 7 من 40 حالة اختيرت لصعوبتها	ظهرت سبعة استثناءات مؤكدة في حالات التحدي الأربعين المختارة
عمل ضابط الموافقة في جميع الانتقالات المختبرة	قد تكون مسندة إذا حددت الانتقالات والإعدادات والأدلة	حصر الادعاء في تلك الاختبارات والإفصاح عن المسارات غير المفحوصة

تزداد فائدة النتيجة عندما يظهر ما بقي من عدم يقين. ويوضح دليل المعاينة في تدقيق الذكاء الاصطناعي أثر الاختيار في التفسير. فقد تكشف اختبارات قليلة مختارة بعناية ضعفاً خطيراً دون تقدير تواتره. كما قد تكون مجموعة كبيرة مضللة إذا قوضت التكرارات أو تسرب بيانات الاختبار أو مرجعية تقييم غير مناسبة معنى القياس.

ما الذي تتضمنه ملاحظة التدقيق؟

تربط الملاحظة حالة ملحوظة بمعيار وأثر محتمل. مثال ذلك إمكان حفظ وصف غير مؤكد دون تأكيد المراجع المطلوب في إعدادات مختبرة محددة. ويحدد الدليل الاختبار والسلوك المتوقع والانتقال المرصود والسجل الناتج. والأثر هو احتمال دخول وصف غير مراجع إلى العمل، وليس إثباتاً تلقائياً لوقوع خطأ في تعويض مدفوع.

يفصل السبب عن الملاحظة إلى أن تدعمه الأدلة. فقد ينتج العارض نفسه عن غياب تحقق في الخادم، أو حالة قديمة في الواجهة، أو إعداد خاطئ في التكامل. ويمكن وصف الفرضيات والأدلة اللازمة للتمييز بينها. وبذلك تسند الإدارة المعالجة إلى مسؤول دون الادعاء بأن السبب الجذري حسم. وتبنى الشدة على العواقب والتعرض وعدم اليقين، لا على مدى إثارة لقطة الشاشة.

يسجل التقرير أيضاً رد الإدارة والخطوة التالية وما يعد إغلاقاً للملاحظة. فقبول التوصية لا يعني تنفيذ الإصلاح، وإفادة المطور بتغيير الشيفرة ليست دليل إعادة اختبار. ويتطلب الإغلاق إجراءً يعالج الحالة الأصلية والسلوك المجاور ذي الصلة. ويوضح دليل إعادة اختبار تدقيق الذكاء الاصطناعي أهمية تحديد إصدار المسار المصحح وأدلة عمله.

من يستطيع تنفيذ التدقيق؟

يحتاج الفريق إلى كفاءات تناسب الادعاءات. فالتقييم الإحصائي وأمن التطبيقات وحوكمة البيانات والعمليات ومتطلبات القطاع تخصصات مختلفة. وقد يجمع شخص عدة كفاءات، لكن العرض ينبغي أن يحدد المسؤول عن كل حكم جوهري ومن يراجعه. ولا تثبت شهادة عامة في الذكاء الاصطناعي الكفاءة في جميع أنواع النماذج أو مسارات العمل المنظمة.

ويجب تحديد الاستقلالية بدقة. فالفريق الذي صمم الضابط يملك معرفة مفيدة، لكن تقييم عمله يخلق تهديد المراجعة الذاتية. لذلك يفصح عن الأدوار السابقة والحوافز التجارية ومسارات رفع التقارير، ثم يبين الضمانات التنظيمية والقيود المتبقية. ولا يكفي اختلاف الاسم التجاري أو مدير المشروع. يساعد دليل استقلالية التدقيق وتضارب المصالح على تقييم معنى وصف «مستقل» في التكليف المحدد.

في المنشأة السعودية، يتوقف انطباق الالتزامات على الكيان والنشاط ومعالجة البيانات. ويسجل التدقيق من حدد الانطباق وأي معايير يفحصها فعلياً. ولا يستنتج امتثالاً قانونياً شاملاً من مجموعة اختبارات تقنية عامة. وإذا احتاج العمل إلى تفسير قانوني أو رأي مهني منظم، فيحدد الدور المؤهل لذلك ويفصله عن التقييم التقني.

التدقيق والتقييم والتأكيد المهني والشهادة

يمكن للتقييم قياس قدرة معينة دون فحص بيئة الضوابط الأوسع. ويستخدم التدقيق التقييمات مع أدلة أخرى للإجابة عن أسئلة متفق عليها. وقد يستخدم مصطلح التأكيد بمعنى واسع لبناء الثقة، بينما يخضع تكليف التأكيد المهني الرسمي لمتطلبات وصيغة استنتاج محددة. أما منح الشهادات فله نظامه ونطاقه والجهة المخولة به. ويجب عدم التعامل مع هذه المصطلحات كمترادفات في وثائق الشراء.

قد يكون تقرير التدقيق التقني مفيداً جداً دون أن يكون شهادة أو رأياً نظامياً؛ إذ يقدم وصفاً قابلاً للدفاع عما فحص وما يترتب على أدلته. وإذا كان المستفيد مقرضاً أو جهة تنظيمية أو عميلاً خارجياً، فيحدد شكل التقرير المقبول لديه قبل التكليف. ويوضح دليل تدقيق الذكاء الاصطناعي مقابل التأكيد المهني أسئلة تجنب شراء مخرج لا يلبي حاجة قارئه المقصود.

أعد بناء ادعاء واحد من بدايته إلى نهايته

يستطيع المشتري تقييم فائدة المنهج المقترح بطلب إعادة بناء ادعاء واحد. في مثال الصور، ابدأ بالصورة الأصلية والاستخدام المخول لها، ثم حدد التحويل الذي سبق وصولها إلى النموذج، والوصف الناتج، وعلامة عدم اليقين إن وجدت، وقرار المراجع، والنص الذي حفظ فعلياً. واسأل عند كل انتقال عن السجل الذي يثبت وقوعه بالطريقة الموصوفة. يكشف ذلك فجوات الأدلة قبل أن يصبح التكليف مجموعة اختبارات منفصلة لا تتصل بقرار العمل.

بعد ذلك أدخل تغييراً مضبوطاً واحداً. يمكن إبقاء الصورة نفسها مع تغيير دور المراجع المسموح، أو إبقاء الدور مع استخدام صورة يختلف بشأنها الحكم المرجعي. ليس الهدف صناعة إخفاق مثير، بل فهم الضابط. فقد يدل تغير المخرج على حساسية للشرط، وقد يدل رفض الانتقال على إنفاذ القيد. ويجب تسجيل ما بقي ثابتاً وما تغير، حتى لا تنسب النتيجة إلى عامل لم يعزل فعلياً. وإذا تغيرت عدة إعدادات معاً، تصبح الحاجة إلى تفسير إضافي أو اختبار أدق واضحة.

وأخيراً اطلب من مراجع مختص آخر تتبع الاستدلال باستخدام الأدلة المحفوظة. لا يحتاج إلى إعادة كل حساب داخلي للنموذج كي يقيم صحة الربط بين الدليل والاستنتاج، لكنه يحتاج سياقاً يميز الاستجابة عن السجل المحفوظ، والفعل البشري عن الحقل الذي مُلئ تلقائياً، والنتيجة المرصودة عن الافتراض. وإذا تعذرت إعادة البناء، فقد يكون التحسين الأول هو التقاط دليل أفضل، وليس زيادة عدد الحالات دون علاج الفجوة.

يساعد هذا التمرين أيضاً على تحديد السؤال الذي لا يستطيع التدقيق الإجابة عنه حالياً. فقد يتيح المورد واجهة فقط، أو يغيب إصدار المصدر التاريخي، أو يبقى الحكم المرجعي مختلفاً عليه. يجب أن تؤثر هذه الظروف في الاستنتاج والخطوة التالية. وهي لا تثبت عيب النظام تلقائياً، لكنها تمنع اعتبار الادعاء غير المفحوص حقيقة ثابتة. وقد تكون أهم قيمة للتدقيق إظهار هذا الحد قبل التزام يترتب عليه أثر كبير.

ما الذي تطلبه قبل بدء التكليف؟

اطلب غرضاً مكتوباً وحدود النظام والمعايير وخطة الأدلة ونموذج الوصول والمخرجات والقيود. وحدد اللغات والإصدارات والوصول إلى الإنتاج والاختبارات الأمنية المصرح بها ومعالجة الأدلة الحساسة وإعادة الاختبار. واسأل عما يحدث إذا تعذر على المورد تقديم دليل جوهري أو تغير النظام أثناء العمل؛ فهذه قرارات نطاق ينبغي حسمها قبل إنفاق الميزانية.

يشمل التسليم المفيد تقريراً مقروءاً وأوراق عمل قابلة للتتبع، بمعلومات تسمح للفرق المعنية بفهم الملاحظات وإعادة إنتاج ما يلزم منها ضمن قيود الوصول المتفق عليها. ويبين القرارات المطلوبة الآن والأسئلة المتبقية وأدلة إعادة النظر فيها. ويوضح هيكل تقرير تدقيق الذكاء الاصطناعي كيف ترتبط الاستنتاجات والملاحظات والقيود دون دفن القرار في المرفقات.

تقوم خدمات تدقيق الذكاء الاصطناعي لدى Open for AI على تقييم تقني محدد النطاق تقوده الأدلة، مع الملاحظات وإعادة الاختبار. وللبدء في مناقشة نطاق تدقيق مسار الذكاء الاصطناعي لديكم، جهز وصفاً محجوب البيانات لحالة الاستخدام ومستخدميها وإجراءاتها، والإصدار المطلوب فحصه، والقرار الذي يجب أن يسانده التقرير. بذلك يصبح الاستنتاج مفيداً لأن حدوده واضحة.