حوكمة الذكاء الاصطناعي الوكيلي

تحدد حوكمة الذكاء الاصطناعي الوكيلي ما يجوز للوكيل فعله، وبصلاحية من، وباستخدام أي معلومات، وكيف تستطيع المؤسسة التدخل. ويتغير السؤال الأساسي عندما ينتقل النظام من اقتراح إجابة إلى إجراء حجز أو تحديث سجل أو إرسال تعليمات أو تفويض مهمة. فالمخرج المفيد لا يعني تلقائيا أن الإجراء الناتج عنه مخوّل.

اعتمد حدود الإجراء قبل توصيل الوكيل بخدمة حية. ينبغي أن تحدد هذه الحدود الأدوات المسموحة وشروط المعاملة والهوية ومتطلبات الموافقة وقيود التنفيذ وآلية الإيقاف. واربط القرار بمالك بشري يستطيع تفسير ملاءمة الصلاحية وتقليصها أو سحبها عندما يتغير الاستخدام أو تظهر مشكلة.

هذا الدليل موجّه إلى أصحاب الأعمال وقادة الهندسة وفرق الأمن وممارسي الحوكمة في المنشآت السعودية. ويعرض مثالا أصليا لوكيل حجز سفر وسجلا قابلا للتكييف للصلاحيات. وهو جزء من تأسيس حوكمة الذكاء الاصطناعي، ويركز على استمرار ضبط الصلاحيات المفوضة، لا على مجرد عرض قدرات الوكلاء.

افصل الهدف عن الإذن بالتنفيذ

عبارة «رتّب رحلة عمل مناسبة» تصف نتيجة، لكنها تترك قرارات مهمة دون حسم. هل يجوز للوكيل البحث عن خيارات، أو إنشاء حجز مؤقت قابل للإلغاء، أو شراء تذكرة ملزمة، أو تعديل بيانات المسافر، أو إلغاء حجز قائم؟ وهل تمنحه تعليمات الموظف سلطة تنفيذ كل ذلك؟ وهل يملك الموظف نفسه صلاحية التفويض المطلوبة؟

حوّل الهدف إلى عمليات محددة ونتائج أعمال واضحة. يمكن السماح للنظام بالبحث في نطاق واسع مع حصر الالتزام في نطاق ضيق. وقد يغير خيار يبدو مريحا، مثل قبول مسار بديل تلقائيا، التكلفة أو الشروط التعاقدية أو الالتزامات التشغيلية. حدّد هذه القرارات صراحة بدلا من تركها لتفسير الوكيل لمعنى النجاح.

توصي مناقشة المركز الوطني للأمن السيبراني البريطاني المنشورة في مايو 2026 بشأن التبني الحذر للذكاء الاصطناعي الوكيلي بنطاقات محدودة ومسؤولية بشرية واضحة وإمكان مراقبة الوكلاء واحتواء أفعالهم. ويطبّق التصميم التالي هذه الأفكار على مسار عمل مقترح؛ ولا يدّعي حصول منتج أو إعداد محدد على شهادة أو ثبوت سلامته.

أنشئ سجل صلاحيات لكل إجراء ذي أثر

حقول مقترحة لسجل صلاحيات الوكيل

الحقل	ما ينبغي توثيقه
الغرض والمالك	نتيجة العمل والشخص المسؤول عن الاستخدام
العمليات المسموحة	القراءة والاقتراح والحجز المؤقت والإرسال والتعديل والإلغاء، كل على حدة
الهوية والتفويض	الهوية المنفذة والجهة التي تمثل صلاحيتها ووقت انتهاء التفويض
القيود	المستلمون والسجلات والمبالغ والفترات والشروط المسموحة
متطلب الموافقة	المعتمد والمعلومات التي يراها والتغييرات التي تستوجب موافقة جديدة
دليل التنفيذ	الطلب والتفويض ونتيجة الأداة والنتيجة المؤكدة في نظام العمل
التدخل	من يوقف التنفيذ ويلغي الوصول ويطابق حالة الأعمال غير المكتملة

يجب أن يصف السجل شروطا يمكن تطبيقها والتحقق منها. فعبارة «استخدم التقدير المناسب» لا تحل محل حد واضح عندما تحتاج المؤسسة إلى قيد حاسم. وإذا خرجت حالة عن المجموعة المسموحة، فعلى الوكيل إحالتها إلى صاحب الصلاحية بدلا من ابتكار تفسير قريب يبدو أكثر سهولة.

اربط تصميم صلاحيات اتخاذ القرار بالتنفيذ التقني. فقد تجيز السياسة لمدير أعمال اعتماد المشتريات بينما يتيح التطبيق حساب خدمة أوسع صلاحية. يجب أن توفق المراجعة بين الواقعين؛ فجدول الصلاحيات المكتوب بعناية لا يقلل أذونات النظام من تلقاء نفسه.

مثال تطبيقي: البحث والحجز المؤقت لا يعنيان صلاحية الشراء

لنفترض شركة افتراضية تقدم مساعد سفر لرحلات الموظفين المعتمدة. يسمح النطاق الأولي بالبحث عن خيارات وإعداد برنامج الرحلة. ثم تقترح الشركة تمكين حجز مؤقت، مع اشتراط موافقة مسؤول سفر مخوّل قبل الشراء الملزم. المثال توضيحي؛ ويجب التحقق من توافر وظيفة الحجز المؤقت وشروطها لدى المورّد الفعلي.

يحدد مالك العمل المعلومات التي يحتاجها الوكيل ويستبعد سجلات الموظفين غير المرتبطة بالمهمة. ويوفر فريق السفر السياسة السارية وقنوات الحجز المعتمدة. وتحدد الهندسة العمليات المتاحة وتتأكد من قدرة المورّد على تطبيق التمييز المطلوب بين الحجز المؤقت والشراء. وإذا لم تدعم الخدمة هذا الحد، فيجب تعديل التصميم قبل الإطلاق.

يُعرض اقتراح الشراء مع اسم المسافر والمسار وإجمالي المبلغ المستحق وشروط الإلغاء ذات الصلة والإجراء المحدد المطلوب اعتماده. ويراجع المعتمد الاقتراح والسياسة، ثم يوافق أو يرفض أو يطلب تعديلا. وينبغي أن ترتبط الموافقة بذلك الاقتراح نفسه، لا بأي خيار لاحق يراه الوكيل مشابها له.

حدود توضيحية لإجراءات وكيل السفر

الإجراء	الصلاحية المقترحة	سبب التصعيد
البحث في القنوات المعتمدة	ضمن المهمة والمعلومات المسموحة	الحاجة إلى مصدر أو معلومة خارج النطاق
إعداد برنامج الرحلة	مسودة للمراجعة	غموض السياسة أو غياب شرط جوهري
إنشاء حجز مؤقت	فقط إذا دعمت الشروط المتحقق منها والضوابط التقنية الحد المعتمد	إنشاء التزام أو رسم غير معتمد
الشراء	موافقة محددة على الاقتراح الحالي	تغيّر السعر أو المسار أو المسافر أو الشروط الجوهرية
الإلغاء أو التعديل	صلاحية مستقلة محددة مع تأكيد النتيجة	ظهور رسوم أو التزامات لاحقة أو استثناءات من السياسة

الغاية هي ربط كل عملية منفذة بصلاحية صحيحة ونتيجة تجارية مفهومة، وليس الوصول إلى أكبر قدر ممكن من الاستقلالية. وإذا بقي الشراء يدويا لتعذر إثبات ربطه بالموافقة المناسبة، فقد يظل استخدام البحث وإعداد المسودة مفيدا ضمن حدوده الأضيق.

اجعل الموافقة ذات معنى عند التنفيذ

يجب أن تعرض شاشة الاعتماد القرار المهم بدلا من إخفائه وسط سجل تقني طويل. يحتاج المعتمد في مثال السفر إلى معرفة المسار والالتزام الفعلي والاستثناءات ونتيجة الموافقة. وزر عام يحمل كلمة «متابعة» دليل ضعيف إذا لم يفهم المستخدم هل يعني البحث أم الحجز المؤقت أم الشراء.

حدّد ما يبطل الموافقة السابقة. فقد يستدعي تغيّر السعر أو المسافر أو جهة الدفع أو شرط الإلغاء قرارا جديدا، وفق طبيعة عملية المؤسسة. ولا تفترض استمرار الموافقة إلى أجل غير محدد أو قدرة الوكيل على معالجة جميع التغييرات باختيار ما يظنه بديلا مكافئا.

صمّم مسارا لغياب المعتمد وتعارض التعليمات. عند غياب المسؤول، يتبع الوكيل بديلا مسمى أو يتوقف عند الحد المسموح. ولا يمنح نفسه صلاحية إضافية لأن مهلة الحجز توشك على الانتهاء. وإذا تعارض طلب المستخدم مع السياسة، فيجب حفظ التعارض وإحالته إلى المالك المناسب.

ميّز بين الطلب والتنفيذ والنتيجة المؤكدة

احتفظ بحالات منفصلة للاقتراح والاعتماد والإرسال والتأكيد والفشل وعدم اليقين. فقبول جهة وسيطة لاستدعاء أداة لا يعني بالضرورة اكتمال الحجز، وانقطاع الاستجابة لا يثبت أن العملية لم تحدث. تحتاج آلية التشغيل إلى مطابقة الحالة غير المؤكدة قبل محاولة إجراء مؤثر آخر.

لنفترض أن خدمة الحجز استقبلت طلب شراء معتمدا ثم انقطع الرد. ينبغي ألا يعيد الوكيل الشراء مباشرة. على المسؤول التقني تحديد وسيلة يدعمها المورّد للتحقق من المعاملة ومنع الالتزامات المكررة. وإذا لم تتوافر وسيلة مناسبة، تُحال الحالة غير المحسومة إلى فريق السفر وتُقيّد المحاولات اللاحقة حتى تتضح النتيجة.

لا تجعل رسالة النجاح التي يصوغها الوكيل هي السجل المرجعي للمعاملة. يجب أن يدعم تأكيد الحجز أو نتيجة النظام المصدر ما يُبلّغ عنه. وإذا قال الوكيل «اكتمل» بينما لا يوجد تأكيد، فذلك اختلاف تشغيلي يستحق المعالجة، وليس مجرد تفصيل في صياغة الرد.

اضبط التفويض وهويات الخدمة

حدّد هل يعمل الوكيل بصلاحية مفوضة من المستخدم أم بهوية خدمة مخصصة أم بنموذج آخر يدعمه النظام. وسجّل ما تستطيع الهوية قراءته وتغييره ومالكها وآلية منحها وإلغائها. ولا تعد بيانات دخول مدير نظام مشتركة بديلا مناسبا عن تصميم حدود الصلاحية المقصودة.

إذا استطاع وكيل تفويض آخر، فحدّد المهمة والأذونات التي يجوز نقلها. فتفويض البحث لا يعني منح صلاحية الشراء. ويجب أن يبقى الوكيل المتلقي ضمن التفويض الأصلي ونطاقه المسموح، مع الحفاظ على رابط بين المهمة الأولى والعمل المفوض والإجراء النهائي. ومن دون هذا الرابط قد يصعب معرفة مصدر السلطة عند التحقيق.

اختبر سحب الصلاحية أثناء المهمة، لا قبل بدايتها فقط. فإذا غادر المستخدم المؤسسة أو انتهت الموافقة أو علّق مسؤول الأمن الاستخدام، فحدّد مصير الإجراءات المنتظرة وبيانات الاعتماد المؤقتة أو المخزنة. لا ينبغي استمرار التنفيذ لمجرد أن المهمة بدأت وقت كانت فيه الصلاحية سارية.

عامل المحتوى الخارجي بوصفه معلومات لا مصدرا للصلاحية

قد يقرأ الوكيل صفحات مورّد أو رسائل أو مستندات أثناء تنفيذ المهمة. ينبغي أن يوضح التصميم أن هذه المواد لا تملك تغيير تعليمات المؤسسة أو منح أذونات جديدة. فلا يجوز لملاحظة مضمنة في برنامج رحلة، مثلا، أن تغيّر جهة الدفع أو تتجاوز مسار الموافقة.

على فريق الأمن اختبار محاولات دفع الوكيل إلى إجراءات خارج النطاق عبر مسارات المعلومات الفعلية التي يستخدمها. ويساعد أصحاب العمل في تحديد الآثار؛ فقد يؤثر تعديل يبدو بسيطا لجهة اتصال أو لتعليمات إلغاء في التزام حقيقي. استخدم بيانات اختبار مضبوطة واتفق على من يراجع السلوك غير المتوقع.

ميّز الاستثناء التجاري المشروع عن التعليمات العدائية أو غير ذات الصلة. قد يتطلب كلاهما توقف الوكيل وطلب التوجيه، لكن المتابعة تختلف. فالاستثناء الحقيقي يحتاج إلى قرار مخوّل، بينما تندرج محاولة التلاعب المحتملة ضمن الاستجابة الأمنية المناسبة.

اختبر الرفض وعدم اليقين والانقطاع

يتضمن تمرين القبول المفيد المهام الناجحة والحالات التي ينبغي ألا تستمر. اطلب من فريق التشغيل شرح الحد المتوقع قبل تنفيذ كل حالة. ويجب أن يوضح الاختبار ما حدث، ولماذا كان داخل النطاق أو خارجه، وما الأدلة التي تدعم هذا الحكم.

1. البحث وإعداد رحلة باستخدام المعلومات المعتمدة فقط.
2. محاولة الشراء دون الموافقة المطلوبة والتحقق من الرفض عند نقطة التنفيذ.
3. تغيير شرط جوهري بعد الموافقة والتحقق من عدم استخدامها لاعتماد الاقتراح المعدّل.
4. قطع استجابة معاملة مرسلة ومطابقة حالتها قبل إعادة المحاولة.
5. سحب صلاحية الوكيل مع وجود أعمال منتظرة والتحقق من احتواء ما تبقى.
6. إدخال محتوى خارجي يطلب تجاوز السياسة وفحص الاستجابة.
7. طلب إلغاء يتضمن رسما غير معتمد والتحقق من التصعيد.
8. إيقاف الوكيل وإعادة بناء الإجراءات المكتملة والمعلقة وغير المؤكدة.

هذا تصميم اختبار مقترح، وليس ادعاء بأن ثماني حالات تثبت السلامة الكاملة. أضف سيناريوهات تعكس المورّد ونموذج المعاملة والنتائج الفعلية. واحتفظ بالإخفاقات والشروط المفتوحة بدلا من عرض الجزء الناجح وحده على صاحب القرار.

حدّد إجراء إيقاف يشمل العمل غير المكتمل

يحتاج زر الإيقاف إلى معنى تشغيلي محدد. هل يوقف المهام الجديدة، أم يمنع استدعاءات الأدوات، أم يسحب بيانات الاعتماد، أم يلغي الأعمال المنتظرة، أم يجمع هذه الإجراءات؟ وأي العمليات انتقلت بالفعل إلى نظام المورّد ولم يعد تعطيل الوكيل قادرا على منعها؟ يجب أن تميّز تعليمات الاستجابة هذه الحالات.

عيّن مسؤولا لمطابقة المعاملات المكتملة والمعلقة وغير المؤكدة. ففي مثال السفر، لا يؤدي إيقاف المساعد تلقائيا إلى إلغاء حجز أو إزالة رسم. ويجب تنفيذ أي تصحيح بالصلاحية المناسبة ومن خلال عملية النظام المصدر. وتجنب إطلاق وكيل تصحيح غير مضبوط ينشئ التزامات جديدة أثناء محاولته عكس الالتزامات القديمة.

اربط التعليمات بـمعالجة حوادث الذكاء الاصطناعي، وتدرّب عليها مع فريق العمل. فقد ينجح الإيقاف تقنيا بينما يبقى المستخدم دون معلومة عن رحلة يظن أنها اشتريت. لذلك يعد التواصل ومطابقة النتائج جزءا من الاحتواء نفسه.

راجع تغيّر الصلاحيات إلى جانب تغيّر النماذج

قد تغيّر أداة جديدة أو أذونات هوية أوسع أو قواعد اعتماد مختلفة أو مصادر إضافية أو شروط تجارية معدلة النطاق المعتمد، حتى لو لم يتغير النموذج الأساسي. وفي المقابل قد يؤثر تحديث النموذج في السلوك دون أن يتبدل مسار العمل الظاهر. ينبغي أن تراعي المراجعة التغييرات التقنية والتجارية معا.

استخدم مسببات إعادة مراجعة الذكاء الاصطناعي لتحديد وقت التقييم، وتقييم أثر الذكاء الاصطناعي لتوثيق الاستخدام المعدل وآثاره. وثّق التغيير والافتراضات التي يؤثر فيها والاختبارات المعادة والشروط المتبقية. ولا تنسخ تاريخ اعتماد سابق ليبدو أنه يغطي نطاقا أوسع لم يراجع بعد.

تابع المؤشرات وفق آثارها: محاولات الخروج عن الصلاحية والمعاملات غير المؤكدة وطلبات الموافقة المتكررة والتصحيحات اليدوية وإخفاق الاحتواء. لا يثبت ارتفاع عدد المهام المكتملة بقاء الوكيل ضمن التفويض. تحقّق مما إذا كانت الكفاءة الظاهرة تنتج فعليا عن نقل العمل غير المحسوم إلى فريق بشري آخر.

ميّز حدود المهمة عن الأثر التراكمي للصلاحية

قد يلتزم الوكيل بحد كل إجراء منفرد بينما ينتج عن مجموع الإجراءات أثر غير مقبول. على مالك العمل مراعاة الحجوزات المتكررة والمهام المتزامنة والمستخدمين المتداخلين، ثم تحديد الحدود الإجمالية ذات الصلة. ويجب أن تعكس هذه الحدود العملية الفعلية؛ فقد لا يعالج سقف عام للمعاملات منسوخ من استخدام آخر النتيجة المهمة هنا.

في مثال السفر، لا ينبغي لطلبات الموظف المتكررة أن تنشئ بصمت عدة التزامات للرحلة نفسها. حدّد كيف يعرّف النظام المهمة المعنية ويتحقق من العمل القائم قبل اقتراح شراء آخر أو تنفيذه. وإذا تعذر هذا الفحص بصورة موثوقة، فأبقِ خطوة بشرية مناسبة لمطابقة الحالة ضمن تصميم الصلاحيات.

حدّد أيضا وقت انتهاء المهمة. فلا ينبغي أن يظل برنامج معتمد لرحلة معينة إذنا قابلا لإعادة الاستخدام بعد تغير الغرض. وسجّل مصير الحجوزات المؤقتة والإجراءات المنتظرة عند انتهاء المهمة. يجب أن يميز المالك إنجاز العمل فعليا عن إغلاق المحادثة مع المستخدم فقط.

راجع الاستثناءات بالدقة نفسها التي تطبق على الموافقة المعتادة

قد تحتاج رحلة استثنائية إلى استثناء مسموح من السياسة. حدّد من يعتمد الاستثناء والقيود المعتادة التي تبقى سارية وكيف تصل الصلاحية الناتجة إلى الوكيل. ولا ينبغي لسبب يكتب في حقل نصي أن يوسّع أذونات الأدوات تلقائيا أو يتجاوز آلية الاعتماد المعتادة.

اربط السلطة الاستثنائية بالحالة والفترة المحددتين. وراجع الاستثناءات المتكررة لمعرفة هل الخلل في مسار العمل أو وضوح السياسة أو اعتماد المستخدمين على الاستثناء للسهولة. قد يبرر النمط إعادة التصميم، لكنه لا يبرر تلقائيا منح الوكيل صلاحيات أوسع بصورة دائمة.

احتفظ بالبديل المرفوض عندما يفسر القرار. فقد يرفض شخص مسارا أرخص لأنه لا يحقق شرط عمل جوهريا. ولا ينبغي لتحسين لاحق يقترحه الوكيل إعادة هذا الخيار دون مراعاة القيد المسجل. تحفظ الحوكمة سبب الحد، إلى جانب الإذن النهائي، ليبقى القرار قابلا للفهم بعد تغير الأشخاص أو سياق المحادثة.

معايير تسليم وكيل قابل للتشغيل

ينبغي أن يستطيع الفريق المستلم شرح الصلاحيات الحالية والعثور على أدلتها وتحديد الشروط المفتوحة وإيقاف التنفيذ الإضافي ومطابقة معاملة غير مؤكدة. كما يجب أن يعرف المسؤول عن غرض العمل وبيانات الاعتماد وعلاقة المورّد والاستجابة للحوادث. وتظل هذه المسؤوليات قائمة بعد إغلاق مشروع التنفيذ.

بالنسبة إلى الوكلاء المشتراة، اربط هذه المتطلبات بـمتطلبات أدلة المورّد ونطاق الخدمة المتعاقد عليه. اطلب عرض الضوابط ومعنى حالات المعاملة في الإعداد المقترح نفسه. فالحديث العام عن الذكاء الاصطناعي المسؤول لا يثبت كيفية ربط هذا الوكيل موافقة معينة بعملية شراء محددة.

أحضر الإجراءات المقترحة ونموذج الهوية وأصعب حالة غير محسومة إلى مناقشة حوكمة الذكاء الاصطناعي الوكيلي. يبدأ العمل بسؤال واضح: ما الذي يجوز لهذا الوكيل فعله اليوم، وما الذي يجب أن يبقى بيد الإنسان، وما الدليل الذي يبرر توسيع صلاحياته مستقبلا؟