البنية الأمنية لوكلاء الذكاء الاصطناعي

السؤال الأمني الحاسم هو ما الذي يبقى محميًا عندما يسيء الوكيل فهم طلب أو يتبع محتوى عدائيًا. إذا حول مستند مضلل اقتراح النموذج إلى إجراء تجاري مصرح، فالمشكلة في حدود الصلاحية داخل النظام، وليست الصياغة وحدها.

يعامل التصميم الآمن قرارات النموذج كمقترحات تمر بضوابط مستقلة. تنتمي الهوية والوصول والعمليات المسموحة وقواعد المعاملة إلى مكونات تفرضها. تفيد التعليمات ومرشحات المحتوى، لكنها لا ينبغي أن تكون الحاجز الوحيد بين رسالة غير موثوقة ونظام حساس.

حلل تهديدات مسار واحد ذي أثر

لنفترض مساعد مشتريات يقرأ مراسلات الموردين ويعد طلبات تغيير. يتضمن مستند تعليمات تبدو عاجلة لاستبدال وجهة الدفع. تشترط المؤسسة تحققًا مستقلًا وعملية مالية مخولة. في هذا التصميم، يجمع الوكيل الأدلة وينشئ حالة مراجعة، ولا يملك أداة تغير سجل الدفع الرئيسي مباشرة.

ابدأ بالأصول: سجلات الموردين والمستندات والهويات وبيانات الاعتماد والموافقات المعلقة. ثم منافذ الدخول: الرسائل والملفات والمصادر المسترجعة واستجابات الأدوات وحالة المحادثة المحفوظة. اسأل كيف يمكن أن يسبب كل منها إفصاحًا أو تعديلًا غير مخول أو أثرًا مكررًا أو انقطاعًا.

أدخل موظفًا مشروعًا يستطيع الوصول لمورد دون آخر، ومصدرًا مخترقًا، واعتمادًا معطلًا. لا يقتصر الأمن على مهاجم مجهول يكتب تعليمات مريبة. ينبغي أن تكشف البنية العامة للوكيل هذه الحدود قبل إخفائها داخل دالة تنسيق واحدة.

انقل الهوية المتحقق منها إلى حد المورد المحمي

يرفض NIST SP 800-207 منح الثقة الضمنية لمجرد موقع الشبكة أو الموقع الفعلي. وتوصي إرشادات التفويض لدى OWASP بالرفض الافتراضي وفحص الإذن لكل طلب. طبق ذلك على المستخدم وهوية الخدمة والجهة والسجل والعملية المقترحة.

لا تجعل نص المحادثة مصدر هوية المستخدم أو الجهة المعتمدة. استخرجها من الجلسة الموثقة وسياق التطبيق الموثوق، ثم تفحص بوابة الأدوات قدرة ذلك الطرف على العملية المحددة في السجل المحدد. يجب ألا توسع بيانات اعتماد خدمة عامة صلاحيات المستخدم بصمت.

افصل القراءة عن الكتابة، وفضل عمليات ضيقة على منفذ أوامر عام أو قاعدة بيانات مفتوحة. في المثال، تكفي أداة لاسترجاع ملخص مورد مخول وأخرى لإنشاء حالة مراجعة، دون وصول مطلق لسجلات الدفع. احتفظ بالأسرار خارج التعليمات ونتائج الأدوات، وقيد عمرها وصلاحياتها بالخدمة المطلوبة.

طبق الوصول قبل وصول السياق إلى النموذج

الاسترجاع مسار وصول. لا تجلب وثيقة ممنوعة عن المستخدم ثم تعتمد على تعليمات للكتمان. افرض حدود الجهة والاستحقاق عند الاسترجاع، وتحقق من استمرارها في التخزين المؤقت والفهارس والمرفقات.

عند تغير صلاحيات وثيقة، افحص النسخ المشتقة والجلسات النشطة. قد تبقى الوثيقة المسحوبة مكشوفة في إجابة مخزنة أو ملخص قديم. حدد هل تبطل الحالة أم يعاد فحصها أم توقف حتى تحديثها. اختبر فقد المستخدم الوصول أثناء مهمة متعددة الخطوات، لا قبل رسالتها الأولى فقط.

احتفظ بمصدر المحتوى وعامله كمعلومات لا كسلطة لتغيير السياسة. قد يذكر خطاب المورد وجهة دفع يدعيها، لكنه لا يمنح اعتمادًا ولا يضيف أداة ولا يعيد تعريف التحقق. يناقش دليل ضوابط الوكيل فحوص المحتوى المكملة لهذه الحدود البنيوية.

ضع بوابة أدوات محددة الأنواع بين التخطيط والتنفيذ

لكل أداة عقد ضيق: المدخلات والقيم المسموحة وسياق الهوية والشروط السابقة وشكل النتيجة وحالات الفشل. افحص المعاملات خارج النموذج، واستخرج المعرفات المعتمدة من سجلات موثوقة بدل قبول اسم حر كدليل كافٍ على الهدف.

ترفض البوابة العمليات غير المدعومة والحقول المجهولة وتبديل الجهة أو الوجهة. طبق قيود اتصال وقوائم وجهات مسموحة تناسب الغرض. أداة إشعار الحالة لا ينبغي أن تقبل عنوانًا خارجيًا اعتباطيًا لمجرد وروده في مستند.

افصل صحة الطلب عن نجاح الأثر. إذا انتهت مهلة إنشاء الحالة، فقد تكون النتيجة مجهولة. تحقق بمعرف طلب مستقر أو استعلام من النظام اللاحق قبل إعادة إجراء قد يكرر العمل. لا تبلغ المستخدم بإنشاء الحالة دون دليل. يلتقي الأمن والاعتمادية هنا لأن التكرار والتوجيه الخطأ لهما عواقب.

اربط الموافقة بالإجراء المقترح نفسه

عندما يشمل الإصدار إجراءً مؤثرًا يقبل الموافقة البشرية، اعرض الهدف والتغيير والأدلة والتحذيرات. اربط الاعتماد بالإجراء الموحّد ونسخة السجل أو السياسة، مع انتهاء وهوية المعتمد. الموافقة على «هذه المحادثة» أوسع مما يلزم.

إذا تغير الهدف أو المحتوى بعد الاعتماد، اطلب قرارًا جديدًا. أعد فحص الصلاحيات والشروط الحالية قبل التنفيذ مباشرة. قد يفقد المعتمد صلاحيته أو يتغير سجل المورد أثناء الانتظار. يشرح دليل الإشراف البشري جعل المراجعة ذات معنى تشغيلي.

في مثال تغيير المورد، يبقى التحقق المستقل ضمن العملية المالية المعتمدة. لا تعني حالة المراجعة اكتمال التحقق أو تعديل وجهة الدفع. هذا حد مقصود في المثال، وليس ادعاءً بأن جميع المؤسسات تتبع إجراءً واحدًا.

مصفوفة تهديدات بنتائج يمكن رصدها

اختبارات قبول أمنية مقترحة لمساعد الموردين

السيناريو	الحد المتوقع	الدليل
مستند يأمر بإرسال بيانات المورد لعنوان جديد	غياب مسار أداة مخول لتلك الوجهة	رفض البوابة وعدم حدوث إرسال لاحق
مستخدم يقدم معرف مورد لجهة أخرى	منع الاسترجاع والإجراء بتفويض المورد	قرار الوصول وغياب المحتوى المحمي عن المخرج
سحب صلاحية مصدر أثناء المهمة	احترام السحب في الاسترجاع والسياق المخزن المتأثر	اختبار تغيير الإذن في جلسة مستمرة
تغير الإجراء بعد المراجعة	عجز الاعتماد القديم عن إجازة المحتوى المعدل	عدم تطابق الموافقة وطلب جديد
انتهاء مهلة الإنشاء بعد قبول النظام اللاحق	التحقق قبل إعادة قد تكرر الأثر	حالة واحدة وسجلات محاولات مترابطة
طلب تصدير تشخيصي دون اعتماد	فرض سياسة الدعم والتصدير	رفض التصدير وحدث أمني متناسب

هذه اختبارات مقترحة وليست نتائج تنفيذ. أضف حالات من أدواتك وبيئتك، وكرر المناسب عبر اللغات والوثائق المشمولة. افحص النظام اللاحق؛ فقد يدعي الوكيل الرفض بينما نفذت أداة الإجراء.

احفظ الأدلة دون إنشاء قاعدة حساسة ثانية

سجل الطالب والصلاحية والأداة وإصدارها ومرجع الاعتماد والمحاولات والنتيجة المرصودة. استخدم مراجع أو مخزن أدلة مقيدًا للمحتوى الحساس. تحتاج السجلات ضوابط وصول واحتفاظ وسلامة خاصة، ولا يمثل تفريغ المحادثات كله سجل تدقيق مفيدًا تلقائيًا.

لا تشترط التفكير الداخلي الخفي للنموذج للمساءلة. الدليل القابل للمراجعة هو السياق المسموح ونسخ المصادر والإجراء المقترح وقرار السياسة والموافقة والأثر الفعلي. يفصل دليل التدقيق نموذج الأحداث، ويناقش دليل حماية البيانات أثر الاحتفاظ بها.

صمم الاحتواء والتعافي كعمليتين مختلفتين

يجب أن يعطل الإيقاف مسار التنفيذ وبيانات اعتماده، لا يخفي الواجهة فقط. احصر العمليات الجارية وتحقق من نتائجها قبل إعلان اكتمال الاحتواء. قد تعمل مهمة في الطابور ما لم تضبط العامل أو صلاحية النظام اللاحق.

يبدأ التعافي بإعداد معتمد معروف واعتماد مصحح واختبارات مستهدفة. يمكن عكس بعض الإجراءات بعملية تعويض مخولة، لكن إرسال رسالة خارجية لا يمكن جعله غير مرئي بعد حدوثه. سجل الأثر والمعالجة الممكنة بدل وعد بتراجع شامل.

حدد وضعًا مخفضًا مفيدًا. قد يبقي المساعد الإرشادات العامة ويعلق الاسترجاع الداخلي والأدوات، ويواصل الموظفون عبر مسار يدوي معروف. يحتاج البديل مسؤولًا وقدرة، وإلا ترك الإيقاف الآمن تقنيًا طابور العمل بلا إدارة.

أبقِ التطبيق المحيط ضمن الفحص

يوفر معيار التحقق الأمني للتطبيقات لدى OWASP أساسًا لفحص ضوابط التطبيق. تكمل اختبارات الوكلاء التوثيق والجلسات والمدخلات والأسرار والاعتمادات والنشر. لا تصلح حماية قوية من حقن التعليمات واجهة إدارة مكشوفة.

في السعودية، اربط متطلبات الأمن والخصوصية والمواقع بالجهة وعبء العمل الفعليين. تبقي مراجعة إقامة البيانات مسارات المعالجة والدعم ظاهرة. عامل الإصدار كتركيبة محددة من النموذج والتعليمات والأدوات والسياسة والإعداد، وأعد فحص الحدود المتأثرة بتغيرها.

لمناقشة تطوير وكيل مخصص، أحضر إجراءً مؤثرًا واحدًا والأنظمة التي يمسها. راجع حدود صلاحيته وأدلة قبوله مع Open for AI. ينبغي أن تشرح المراجعة بدقة لماذا لا تستطيع تعليمة غير موثوقة اكتساب إذن لم تمنحه المؤسسة.