تقييم جاهزية التوليد المعزز بالاسترجاع RAG

يحدد تقييم جاهزية التوليد المعزز بالاسترجاع، أو RAG، ما إذا كانت مجموعة معلومات محددة تدعم استرجاعاً موثوقاً وإجابات ذات حدود مناسبة لمستخدمين معينين. ويشمل مرجعية المصادر واستخراجها وصلاحياتها وأدلة الاسترجاع وقابلية الأسئلة للإجابة وإدارة التغيرات. نجاح تحميل الملفات إلى قاعدة متجهات يثبت خطوة تقنية؛ لكنه لا يثبت العثور على المصدر الصحيح وفهمه واستخدامه عند طرح سؤال العمل.

بالنسبة إلى منشأة سعودية تعد مساعداً معرفياً عربياً أو ثنائي اللغة، يكون القرار العملي غالباً هو صلاحية المجموعة لتجربة محدودة، والأسئلة التي يجوز للتجربة التعامل معها، وما يبقى خارج النطاق. يركز هذا الدليل على قرار المصادر والاسترجاع ضمن تقييم جاهزية بيانات المؤسسة والذكاء الاصطناعي. ويتناول مثاله الافتراضي مكتبة مواصفات قوائم طعام لدى منشأة تموين تجاري. يساعد الاستخدام الموظفين على العثور على المعلومات المعتمدة، ولا يخول اتخاذ قرارات السلامة الغذائية أو ملاءمة الطعام للحساسيات.

حدد حدود الإجابة قبل فحص الملفات

صغ مهمة المستخدم في سؤال يحدد المستفيد وتاريخ السريان والمصدر المتوقع. عبارة «المساعدة في القوائم» فضفاضة، بينما يمكن تقييم مهمة «العثور على مواصفة المكونات المعتمدة لصنف محدد وتاريخ خدمة محدد، مع إظهار إصدار المصدر لموظف تخطيط مخول». توضح هذه الصياغة اختلاف أدوار مسودة الوصفة ونشرة المورد التسويقية والمواصفة المعتمدة، حتى إن تشابهت كلماتها ومصطلحاتها.

حدد الإجابات التي لا يجوز للمساعد استنتاجها. في مثال التموين، غياب بيان عن مادة مسببة للحساسية لا يثبت غيابها، والمواصفة القديمة لا تعتمد دفعة المنتجات الحالية. ينبغي أن يوضح المساعد حدوده ويوجه إلى الشخص المناسب حين يتطلب السؤال معلومات خارج المصادر المعتمدة. هذه الاستجابة جزء من التشغيل الناجح، وليست إخفاقاً في الاسترجاع بصورة تلقائية.

يجمع البحث الأصلي عن RAG نموذج اللغة بالمعلومات الخارجية المسترجعة، لكنه لا يثبت مرجعية وثائق مؤسسة بعينها أو صلاحيتها للمهمة المقصودة. لذلك يبدأ التقييم باتفاق واضح على المعلومات: ما الادعاءات التي يستطيع النظام دعمها، وما الأدلة المصاحبة اللازمة، وما الظروف غير المحسومة التي تمنع تقديم الإجابة إلى المستخدم.

أنشئ سجل قبول لمجموعات المصادر

احصر عائلات المصادر ذات المعنى بدلاً من عد جميع الملفات متساوية الفائدة. حدد لكل عائلة مالكاً مسؤولاً وغرض استخدام مسموحاً وآلية لتعيين الإصدار المعتمد ومسار التحديث والمستخدمين المخولين باسترجاعها. سجل ما إذا كانت المرفقات والجداول جزءاً لا ينفصل عن المعنى. قد يزداد عدد الملفات دون زيادة المعلومات الصالحة للاستخدام، عندما تكون الإضافات نسخ تصدير مكررة أو إصدارات سبق استبدالها.

سجل افتراضي لقبول مصادر مواصفات قوائم الطعام

عائلة المصادر	الاستخدام المحتمل	الدليل المطلوب قبل القبول	المسألة غير المحسومة
مواصفات القوائم المعتمدة	تحديد المكونات المذكورة والوصف المعتمد	المالك ومعرف الصنف والإصدار وفترة السريان	يلزم حسم وجود إصدارين نشطين للصنف نفسه
أوراق مواصفات الموردين	تقديم معلومات مساندة منسوبة إلى مصدرها	مطابقة معرف المورد وانطباق الورقة على المنتج المورد فعلياً	لا تتجاوز ورقة المورد اعتماد منشأة التموين بصورة ضمنية
ملاحظات وصفات أولية	بحث داخلي محتمل ضمن مسار منفصل	حالة مسودة واضحة وفئة مستخدمين مخولة على نحو مستقل	تستبعد من استرجاع الإجابات المعتمدة
ملفات قوائم متقاعدة	الإجابة عن أسئلة تاريخية صريحة	وسم التقاعد والاحتفاظ بفترات السريان	لا تعامل كتوصية حالية

احسم تنازع المرجعية مع مالك المعلومات قبل تعديل ترتيب نتائج البحث. تفضيل أحدث ملف لا يغني عن معرفة الوثيقة الحاكمة؛ فقد يكون الملف المرفوع حديثاً مسحاً ضوئياً لإصدار أقدم. يشرح تقييم مرجعية المصادر ومعناها قواعد تعيين السجلات المعتمدة. أما دليل الجاهزية هنا فهو القدرة على تطبيق تلك القواعد باتساق على المجموعة المقترحة، مع إظهار الحالات التي ما زالت تحتاج قراراً.

افحص ما يحافظ عليه إدخال البيانات فعلياً

قارن الصفحات الأصلية بالنص المستخرج وبياناته الوصفية. قد يلزم إبقاء عنوان الصف ووصف المكون ووحدة الكمية والحاشية المقيدة معاً في جدول المواصفات. وقد تبدو الفقرة سليمة لغوياً بينما تكون مضللة لأن الاستخراج أسقط أداة نفي، أو نقل خلية إلى الصف المجاور، أو فصل استثناء عن العبارة التي يقيدها. افحص التنسيقات الصعبة عمداً، مع تمييز هذا الفحص عن عينة تمثل جودة المجموعة كلها.

اسأل كيف ترث المقاطع معرف المصدر وإصداره وفترة سريانه ووسوم الوصول إليه. قد يشبه المقطع سؤال المستخدم دلالياً رغم غياب هويته، لكن التطبيق عندئذ لا يستطيع إثبات مرجعيته أو تقديم إحالة قابلة للفحص. وعند تقسيم جدول، حافظ على سياق يكفي لتعيين الصف وعناوينه. قس أثر حدود التقسيم المختلفة على أسئلة فعلية، بدلاً من اعتماد حجم مقطع واحد لكل الوثائق والمهام.

احتفظ بمسار واضح للعودة إلى الأصل. ينبغي أن يستطيع المراجع فتح الصفحة المشار إليها أو السجل المعتمد دون البحث يدوياً عن ملف مشابه الاسم. ضع أخطاء الاستخراج في قائمة استثناءات ظاهرة، مع قرار بإعادة المسح أو النسخ البشري أو الاستبعاد أو تقييد الاستخدام. ويقدم تقييم جودة التعرف الضوئي والوثائق العربية فحصاً مستقلاً لأخطاء الحروف والبنية قبل أن تتحول إلى مشكلات استرجاع في النظام.

افصل تغطية المصادر عن الاسترجاع وصياغة الإجابة

قد تفشل الإجابة لأن المجموعة لا تتضمن مصدراً معتمداً، أو لأن الإدخال فقد المعلومة، أو لأن الاسترجاع لم يعدها، أو لأن التوليد أساء استخدام الدليل المسترجع. جمع هذه الأسباب في رقم دقة واحد يخفي الإجراء اللازم. احفظ في الاختبار المنضبط المصدر المعتمد وتمثيله المفهرس والمقاطع المرتبة والإجابة، حتى يستطيع المراجع تحديد أول انتقال لم يعد مدعوماً بالأدلة.

استخدم سجل أسئلة يحدد الأدلة المتوقعة، بدلاً من مجموعة إجابات نموذجية يفضلها الكاتب. يتضمن كل بند سؤال المستخدم وهويته المسموحة وسياق التاريخ والمقاطع ذات الصلة والحقائق الدنيا المطلوبة. وعندما تحتاج الإجابة إلى عدة وثائق، حدد مجموعة الأدلة كاملة. قد لا تكفي فقرة ذات صلة إذا اعتمد الجواب أيضاً على استثناء في إصدار آخر أو قيد وارد في مرفق مستقل.

تميز إرشادات Microsoft لتقييم RAG بين فحص الاسترجاع وصفات الإجابة مثل استنادها إلى السياق واكتمالها. ويجب أن تحدد المنشأة أيضاً ما يجعل المصدر معتمداً ومسموح الاستخدام. فقد تكرر الإجابة النص المسترجع بدقة، مع أنها تعتمد وثيقة متقادمة. يظل ذلك إخفاقاً في العمل حتى لو ارتفع مقياس اتساق الإجابة مع السياق.

تشخيص تطبيقي: مكتبة تموين و60 سؤالاً

لنفترض مجموعة تحديات توضيحية تضم 60 سؤالاً، منها 36 بالإنجليزية و24 بالعربية، اختيرت لكشف مشكلات معروفة. تشمل عمداً إصدارات تاريخية وأسماء أصناف ملتبسة ومواصفات ناقصة. وهي ليست عينة عشوائية من طلب الموظفين، فلا تقدر نسبة نجاح جميع الأسئلة المستقبلية. الأعداد التالية تشرح آلية القرار، ولا تعرض نتيجة مشروع أو عميل حقيقي.

توزيع افتراضي للأسئلة بعد فحص المصادر والاسترجاع

الملاحظة	عدد الأسئلة	دلالتها للخطوة التالية
توجد إجابة معتمدة وتظهر الأدلة اللازمة ضمن أول خمسة مقاطع مسترجعة	39	تنتقل إلى تقييم مستقل لصياغة الإجابة
توجد إجابة معتمدة لكن الأدلة المطلوبة لا تظهر في هذه المقاطع	9	يفحص الإدخال والمرشحات وفهم السؤال والترتيب
لا توجد إجابة معتمدة في المصادر المقبولة	8	تختبر استجابة حدود المعرفة، ولا تسجل كإخفاق استرجاع عادي
لم يحسم الملاك تنازع مرجعية المصادر	4	تبقى خارج المجموعة القابلة للإجابة حتى الحسم

تضم المجموعة القابلة للإجابة حالياً 48 سؤالاً، أي مجموع 39 وتسعة. لذلك تساوي تغطية الأدلة ضمن نافذة الاسترجاع المحددة ناتج قسمة 39 على 48، أي 81.25%. ولا تستخدم قسمة 39 على 60 كتقدير عام لنجاح الاسترجاع، لأن 12 سؤالاً لا تملك إجابة معتمدة محسومة. اعرض الفئات الأربع كي لا تجعل الاستبعادات النظام يبدو أفضل من واقعه. واختيار أول خمسة مقاطع تصميم للتقييم، وليس متطلباً معيارياً عاماً.

لنفترض أن 33 سؤالاً من الأسئلة التسعة والثلاثين ذات الأدلة الكافية تنتج إجابات مقبولة، بينما تهمل ست إجابات قيداً ضرورياً. يحدد ذلك مشكلة في صياغة تلك الإجابات الست، ولا يلغي حالات الاسترجاع التسع غير الناجحة. اعرض نتائج العربية والإنجليزية منفصلة قبل اعتماد أي منهما؛ فقد يخفي المجموع ضعف المسار العربي. يشرح دليل اختبار استرجاع الوثائق العربية بناء الأحكام الخاصة باللغة بصورة أكثر تفصيلاً.

اطلب دليلاً على التعامل مع الغياب والتعارض

تميز استجابة الحدود الجيدة بين معلومات غائبة وأخرى متعارضة وأخرى مقيدة الوصول. عبارة «لم أعثر على مواصفة حالية معتمدة لهذا الصنف» تختلف عن عبارة «يتعارض سجلان يبدوان معتمدين ولم يحسم المالك التعارض». لا ينبغي تحويل أي منهما إلى توصية تبدو معقولة. صمم الرد بحيث يفهم المستخدم الدليل أو القرار البشري المطلوب للمتابعة، ومن المسؤول عن توفيره.

اختبر ما إذا كانت صياغة السؤال بإلحاح تغير الحدود. لا ينبغي أن يصبح المساعد أكثر يقيناً لأن المستخدم طلب إجابة قصيرة أو ذكر موعداً عاجلاً. أضف صيغاً تحذف معرف الصنف أو تخلط بين قائمتين متشابهتي الاسم. قد يكون السلوك الملائم هو طلب المعرف الناقص بدلاً من اختيار الصنف الأكثر ظهوراً في نتائج البحث. وسجل هذا الطلب كتصرّف صحيح حين يتعذر التعيين الموثوق.

لا تكشف وجود سجلات مقيدة أو محتواها عند تفسير الحدود لشخص غير مخول. تعتمد الصياغة المناسبة على قواعد الإفصاح المسموحة في التطبيق. اختبر بهويات مأذون بها ووثائق اصطناعية تحمل حدود وصول معلومة. وافصل اختبار تطبيق صلاحيات الاسترجاع عن سؤال استحقاق الموظف لهذه الصلاحيات أصلاً؛ فالقرار الأوسع بشأن التخويل يعود إلى مالك المعلومات والجهة المسؤولة عنه.

اختبر التحديث والتصحيح والحذف

تحتاج الجاهزية إلى اختبار تغير، لا إلى صورة ثابتة فقط. أدخل إصداراً اصطناعياً معتمداً، وعدل فترة سريانه، وأوقف سابقه، وراقب وقت انعكاس كل حدث على الاسترجاع. افحص المقاطع المخزنة وأي ذاكرة مؤقتة للإجابات. فقد يزامن الموصل الملفات الجديدة جيداً، لكنه لا يعالج الحذف أو تعديل البيانات الوصفية أو تغير استحقاق المستخدم بصورة سليمة.

حدد احتياج العمل لحداثة المعلومات قبل اختيار جدول المزامنة. إذا احتاج المخططون أحدث مواصفة عند بداية نافذة الخدمة، فسجل موعد الاعتماد والموعد الذي يجب عنده وقف عرض الإصدار السابق. وعند تأخر التحديث، حدد ما إذا كان يجوز الرد مع بيان تاريخ المصدر وحدوده، أم يلزم تعليق هذه العائلة من المصادر. يعتمد القرار المقبول على أثر استخدام المعلومات القديمة في المهمة الفعلية.

احتفظ بحزمة تقييم مرتبطة بإصدار محدد، حتى يعرف المراجع نسخة المجموعة التي اختبرت. لا تنطبق نتيجة فهرس الأمس تلقائياً بعد استبدال واسع للمصادر. أعد الحالات المتأثرة بالتغير ومجموعة تحقق صغيرة للأسئلة المجاورة. فسر اختيارها؛ فتكرار السؤال الذي أخفق وحده قد لا يكشف الضرر الذي لحق بصنف آخر أو بصياغة باللغة الأخرى نتيجة الإصلاح.

استخدم المقارنات لعزل العامل المقيد

حين تغيب الأدلة، غيّر عاملاً ذا معنى في كل مقارنة. قارن البحث في نص مستخرج تحقق منه البشر بالبحث في ناتج الإدخال الأصلي. وقارن سؤالاً يحمل معرف الصنف بصياغة المستخدم المعتادة. وقارن المرشحات المسموحة ببحث تشخيصي أوسع داخل بيئة اختبار مأذون بها. تساعد هذه المقارنات على تعيين ما إذا كانت المشكلة في التمثيل أو المصطلحات أو التصفية أو ترتيب النتائج.

ثبت نسخة المصادر وأسئلة التقييم أثناء المقارنة. إذا تغيرت المجموعة ونموذج التضمين وأحكام الصلة معاً، فلا تبين النتيجة الأعلى أي تغير كان مفيداً. سجل الإعداد المرشح، واستخدم مجموعة أسئلة محفوظة للتحقق اللاحق حيثما أمكن. تساعد مجموعة تحديات صغيرة في التشخيص، لكن الضبط المتكرر عليها قد يحسن الأمثلة المألوفة وحدها دون إثبات جودة الأسئلة الجديدة التي سيطرحها الموظفون.

لا تصف الضبط الدقيق أو النموذج الأكبر أو قاعدة المتجهات الجديدة قبل تحديد مرحلة الإخفاق؛ فلا يوفر أي منها مصدراً معتمداً غير موجود. إذا تعذر العثور على الوثيقة بالتصفح المباشر، فقد يلزم أولاً إصلاح الفهرسة الوصفية أو الملكية. وإذا نجح الوصول المباشر وفشلت المقاطع المرتبة، فاستخدم تشخيص استرجاع البحث المؤسسي لتضييق السبب قبل الالتزام بشراء منصة أو إعادة بناء البنية التقنية.

احم التقييم من تحيز الاختيار وتسرب الإجابات

احتفظ بمجموعتين واضحتين للأسئلة. تهدف العينة التشغيلية إلى وصف مجتمع العمل الفعلي، ولذلك تحتاج آلية اختيار صريحة، مثل اختيار الطلبات المؤهلة عبر فرق وفترات محددة. أما مجموعة التحديات فتزيد تمثيل الحالات الصعبة عمداً. لكل منهما فائدة، لكن جمع نتائجهما في نسبة واحدة دون تبرير للأوزان يخفي معنى النسبة. سجل الأسئلة المكررة والمترابطة، حتى لا تبدو عدة صيغ لسؤال عن مواصفة واحدة حالات عمل مستقلة.

اجعل مالك المصدر يحدد الأدلة المتوقعة قبل الاطلاع على إجابة النموذج حيثما أمكن؛ فقد تؤثر الإجابة المقنعة في حكم الصلة. وإذا اختلف المراجعون، فاحفظ أسبابهم وحدد ما إذا كان الخلاف يتعلق بمرجعية المصدر أو تفسيره أو قاعدة القبول. لا تعدل الإجابة المتوقعة بصمت لتطابق مخرجاً مريحاً. وأبق أسئلة التقييم وتعليقات المصححين خارج مصادر المساعد، لأن إدخالها عرضاً يجعل الاختبار أسهل دون إثبات قدرة الاسترجاع على التعامل مع أسئلة جديدة.

عامل التعليمات المسترجعة بوصفها محتوى للمصدر

قد تتضمن الوثيقة تعليمات لقارئ بشري، أو نصاً منسوخاً عرضاً من توجيه لنموذج، أو محتوى خبيثاً يحاول تغيير سلوك المساعد. لذلك يسجل قبول المصادر من يستطيع إضافة المواد وكيف يعالج المحتوى غير المعتاد. في مثال التموين، لا تمنح عبارة داخل مرفق مورد تطلب تجاهل تواريخ الاعتماد تخويلاً بتغيير سياسة المصادر. تظل محتوى غير موثوق في ذلك المرفق مهما ارتفعت مرتبته في البحث.

اختبر هذا الحد بمواد اصطناعية داخل بيئة مأذون بها. النتيجة المتوقعة أن نص المصدر لا يمنح وصولاً، ولا يعيد تعريف المهمة، ولا يتسبب في إجراء خارجي. يجب أن تطبق صلاحيات التطبيق وقيود أدواته الحدود المطلوبة؛ ففقرة في تعليمات النموذج ليست ضابطاً أمنياً شاملاً. سجل معالجة المصدر المريب ومسار استبعاده أو التحقيق فيه. بذلك تتصل خلاصة الجاهزية بمسارات الإضافة والاسترجاع المختبرة، بدلاً من افتراض سلامة كل مقطع مفهرس.

اجعل شروط القبول قابلة للاستخدام لدى ملاك المصادر

افصل المتطلبات الإلزامية عن مقاييس الجودة المتدرجة. قد يمنع تعارض مرجعية غير محسوم فئة أسئلة بعينها حتى إن كانت معظم الإجابات جيدة. وقد يقبل غياب الإحالة في تنقل منخفض الأثر، لكنه لا يقبل حين يحتاج الموظف فحص المواصفة المعتمدة. اذكر القاعدة وأثرها وصاحب القرار، بدلاً من تقديم عتبة عامة واحدة كما لو كانت صالحة لكل الاستخدامات.

يسمي سجل القرار العملي عائلات المصادر المقبولة والمحتوى المستبعد والأدوار واللغات المختبرة ونسخة المجموعة ومجتمع التقييم والفجوات المتبقية. ويوضح العمل المسموح في التجربة ومن يراجع الإجابات غير اليقينية. أدرج جهد تصحيح المصادر والتقييم المتكرر؛ وإلا فقد تعتمد التجربة على محلل يصلح الوثائق بصمت بعد كل عرض، دون أن يعتمد أحد هذا النموذج التشغيلي أو موارده.

حول كل مسألة مفتوحة إلى مهمة لها مسؤول ودليل إنجاز يمكن ملاحظته. عبارة «تحسين المعرفة» لا تكفي. أما «حسم أي المواصفتين نافذة في الفترة المحددة، وتحديث بياناتها الوصفية، واجتياز حالات الاسترجاع المتأثرة» فيمكن إسنادها وفحصها. وتساعد قائمة معالجة فجوات الجاهزية على إدارة هذه المهام دون الخلط بين إجراء التقييم واستكمال التنفيذ أو الإصلاح فعلياً.

جهز نقاشاً محدد النطاق عن جاهزية RAG

أحضر وصفاً موجزاً لأسئلة المستخدمين، وحصراً للمصادر منزوع التفاصيل الحساسة، وأمثلة لوثائق صعبة، وآلية الاعتماد الحالية، والقيود المعروفة للغة والوصول. وإذا وجد نموذج أولي، فقدم المقاطع التي استرجعها إلى جانب إجاباته. لا يتيح نص محادثة منقح وحده فصل جودة الاسترجاع عن حسن الصياغة أو الاختيار اليدوي الخفي للمعلومات المستخدمة في العرض.

ناقش جاهزية مصادر RAG واسترجاعها مع Open for AI لتحديد ما تدعمه الأدلة المتاحة وما يلزم حسمه قبل خطوة محددة. النتيجة المفيدة هي حدود يمكن تبريرها للتحقق أو التجربة، مع ملكية واضحة للمصادر وأدلة متابعة موجهة. وهي لا تعد بإجابة كل سؤال عن الوثائق، ولا بأن اختيار بنية تقنية معينة سيزيل الحاجة إلى الحكم البشري.