تقييم جودة الذكاء الاصطناعي باللغة العربية

قيّم الذكاء الاصطناعي العربي بقدرته على إنجاز المهمة وحفظ معنى المصدر والتعامل المناسب مع عدم اليقين. السلاسة بُعد واحد من الجودة. قد تفشل إجابة مصقولة تقلب النفي أو تغير مرجعاً أو تحول الاحتمال إلى وعد، رغم سلامة نحوها. يجب أن يرى المراجع أثر الخطأ على العمل، لا جمال الصياغة وحده.

هذا الدليل لمالكي المنتجات والمراجعين العرب وفرق الأعمال السعودية عند قبول مخرجات مولدة أو مصنفة. يركز على المعنى وأداء المهمة، لا التعرف الضوئي على الحروف أو استرجاع البحث. الأمثلة والحسابات تصاميم تقييم أصلية وخيالية، وليست نتائج مقاسة لنموذج أو ادعاء بدقة لغوية وطنية.

عرّف المخرج وعاقبة الخطأ

ابدأ بالفعل الذي يدعمه المخرج. قد يصنف رسائل خدمة لقائمة بشرية، أو يجهز رداً من حقائق معتمدة، أو يميز الملخص إجراءً متفقاً عليه من مقترح. يحتاج كل منها دليلاً مختلفاً. لا تستخدم درجة عامة للكتابة العربية بديلاً عن النتيجة الفعلية، ولا تنقل معيار قبول مهمة إلى أخرى دون فحص.

حدّد الاستنتاج المسموح. إذا ذكر العميل طلبين، فعلى المقيم معرفة المعني بالتغيير. وإذا غاب تاريخ، فقد يكون المتوقع طلب توضيح لا اختيار تاريخ معقول. عرّف التعامل مع الغموض قبل رؤية المخرج، كي لا تكافئ التخمين الواثق بعد ظهوره أو ترفض امتناعاً صحيحاً عن اختراع معلومة.

سجّل عاقبة الخطأ. قد يحتاج تفضيل أسلوبي تعديلاً بسيطاً، بينما يوجّه خطأ نية الإلغاء العمل إلى مسار غير مناسب أو يقود المراجع إلى قرار خاطئ. مهمة هذا الدليل تصنيف أو صياغة للمراجعة، ولا تنفذ الإلغاء. أبقِ الحد واضحاً حتى يوافق القبول صلاحية النظام الفعلية.

افصل المعنى وجودة المهمة والعرض اللغوي

أبعاد معيار تقييم عربي عملي

البعد	السؤال	مثال الإخفاق
المعنى	هل حُفظت النية والنفي والقيود؟	تحويل طلب عدم الإلغاء إلى إلغاء
الحقائق والمعرّفات	هل حُفظت القيم دون اختراع؟	تحويل AB-109 إلى AB-190
اكتمال المهمة	هل وردت الحقول أو الإجابة المطلوبة؟	حذف الخطوة التالية المطلوبة من الملخص
عدم اليقين	هل تميز المعلوم والمشروط والناقص؟	تحويل احتمال الموعد إلى تأكيد
المستوى والوضوح	هل تلائم العبارة السياق وتُفهم؟	تحويل ملاحظة داخلية إلى التزام رسمي غير مسند
صلاحية الاستخدام	هل يستعمل المراجع الناتج في وجهته؟	إخفاء المرجع بسبب اتجاه نص مختلط

قيّم الأبعاد منفصلة قبل حكم النجاح. لا تعوّض درجة أسلوب مرتفعة خطأ معنى حرجاً. ولا تعاقب كل صياغة بديلة؛ فقد تحفظ عبارات مختلفة المعنى نفسه. يجب أن يحدد المرجع المحتوى اللازم والتغييرات الممنوعة، دون اشتراط تطابق حرفي في مهمة كتابة مفتوحة تسمح بتنوع صحيح.

في التصنيف المنظم، عرّف التسميات ومعاني الحقول بدقة. وفي النثر، عرّف الحقائق الجوهرية والحذف المقبول وعدم اليقين الواجب إظهاره. يفيد تصميم مهام معالجة العربية للمتطلبات المنظمة، وتصميم الإجراء الثنائي اللغة عندما يجب أن يبقى المخرج العربي متوافقاً مع مصدر إنجليزي.

استخدم أزواجاً متقابلة لكشف خطأ المعنى

يغيّر الزوج المتقابل جزءاً صغيراً من المدخل ويبقي معظم شكله. يجب أن يتغير تفسيره بطريقة محددة. يمنع ذلك قبول نظام يستجيب لكلمة مألوفة دون فهم دورها في الجملة. الحالات التالية مادة اختبار افتراضية ينبغي تكييفها مع مفردات الخدمة الفعلية، مع حفظ الفرق الذي تختبره كل حالة.

حالات تحدٍّ عربية أصلية

المدخل	التفسير المطلوب
ألغوا الطلب 842، ولا تلغوا الطلب 843.	تخص نية الإلغاء 842 مع حفظ التعليمة المتعلقة بـ843
لا تلغوا الطلب 842؛ أريد تعديل موعده.	نية تعديل موعد 842، لا إلغائه
ما أبي ألغي، أبي أغيّر الوقت.	حفظ الطلب غير الرسمي لتغيير الوقت دون إلغاء
قد يتغير الموعد بعد تأكيد المورد.	التغيير مشروط ولم يتأكد بعد
أصبح تغيير الموعد مؤكداً بعد رد المورد.	يقول المصدر إن التغيير تأكد

اربط المتوقع بالمهمة. قد يعيد المصنف فئة الطلب ومعرّفه. وقد تقر المسودة بطلب التغيير دون ادعاء تنفيذه. ويجب أن يحفظ الملخص الفرق بين الطلب والموافقة والتنفيذ. هذه مخرجات مختلفة رغم المدخل المشترك؛ لذلك لا يكفي اتفاقها على كلمة تغيير لإثبات صحة كل منها.

استخدم الزوج للتشخيص. إذا أخفق النظام في الصيغة المثبتة والمنفية معاً، فقد تكون التعليمات غامضة. وإذا فهم المثبتة وقلب المنفية، صار الخطأ أكثر تحديداً. احفظ المخرج والإعدادات لاختبار التعديل التالي بالأدلة نفسها، مع حالات جديدة لاحقاً حتى لا ينحصر التحسن في حفظ مثال معروف.

لا تخلط النبرة العاطفية بالاستعجال

تأمل رسالتين خياليتين: لو سمحتم، الطلب المتعلق بفعالية اليوم لم يصل. وتعبت من تكرار الرسائل، لكن الرد الأسبوع القادم مناسب. الأولى مهذبة وحساسة للوقت بسبب فعالية اليوم. والثانية غاضبة لكنها تقبل صراحة الرد الأسبوع التالي. يفصل المعيار المفيد المشاعر عن التوقيت الذي يذكره صاحب الرسالة.

لا تستنتج الاستعجال من علامات التعجب أو التهذيب أو الصفة السلبية وحدها. حدّد الدليل المطلوب: موعد صريح أو اعتماد تشغيلي أو شرط خدمة. عند نقص المعلومات، قد تكون الفئة الصحيحة بحاجة إلى توضيح. لا يخترع المقيم حالة طارئة لمجرد تجنب نتيجة محايدة أو غير مؤكدة.

ولا تستنتج صفات شخصية من اللهجة أو الاسم أو أسلوب الكتابة. يتعلق التقييم بالمعنى اللازم للمهمة. قد يفهم النموذج عبارة غير رسمية ويجيب بالفصحى، لكن ذلك لا يبرر حكماً على جنسية المتكلم أو كفاءته أو موثوقيته. لا تدخل هذه الاستنتاجات في تقييم معنى الرسالة أو جودة الخدمة.

قيّمت دراسة منشورة لدى جمعية اللغويات الحاسوبية (ACL) عام 2024 عن التحيز الثقافي الملاءمة الثقافية منفصلة عن القدرة العامة متعددة اللغات، ورصدت مشكلات في النماذج والمهام المختبرة. يدعم ذلك فحص السياق، ولا يثبت أداء منتج حالي على عملك. استخدم حالات محلية ذات صلة ومصرحاً بها دون تحويل الألفة الثقافية إلى صور نمطية.

احفظ المعرّفات والوحدات والقيود

استخدم حالات يهم فيها تغير صغير: الشحنة AB-109 للفرع 07، وليست AB-190. يجب حفظ الشحنة والفرع المقصودين والاستثناء. افحص القيم بعد التصدير كما تفحص الرد الأصلي. لا ينبغي أن يخمّن المراجع هل سلسلة مختلطة أعيد ترتيبها تشير إلى السجل نفسه أم إلى سجل آخر.

عرّف التوحيد الشكلي المقبول. قد لا يضر تغيير شكل الرقم إذا حُفظت قيمته وقبلتها الوجهة. وقد يضر حذف صفر أول من معرّف. على مالك العمل تحديد المعرّف والعدد والتاريخ والنص الحر، كي لا يعامل المقيم كل تغير بصري بالطريقة نفسها أو يعد تصحيحاً شكلياً تغييراً في حقيقة.

اختبر القيود بعبارة خدمة خيالية: الرد المتوقع خلال يومي عمل بعد اكتمال المستندات. تغيّر مسودة تعد بيومين دون شرط الاكتمال معنى المصدر. ويغيّر استبدال المتوقع بالمضمون درجة اليقين. يجب اكتشاف الأمرين، حتى إذا بدت الفقرة أكثر إقناعاً أو اختصاراً أو ملاءمة لنبرة تسويقية.

أدخل النقص عمداً. إذا قال المصدر إن الموعد سيؤكد لاحقاً، فقد يكون الحقل الفارغ أو وصف بانتظار التأكيد صحيحاً. لا تمنح اكتمالاً أعلى لملء كل خانة بمحتوى معقول. الاكتمال هو جميع المعلومات المطلوبة المسندة، مع التعامل الصحيح مع المجهول، لا إخفاؤه داخل إجابة مكتملة الشكل.

أنشئ مزيجاً يمثل الاستخدام ويتحداه

احتفظ بصورتين متكاملتين: حالات ممثلة للعمل وحالات تحدٍّ لآليات إخفاق معروفة. تساعد الأولى على تقدير التعامل مع المعتاد، وتختبر الثانية تمييزاً صعباً محدداً. لا تدمج مجموعة صعبة عمداً مع حركة اعتيادية ثم تعرض النتيجة كنسبة خطأ إنتاج طبيعية دون شرح طريقة اختيار العينة ومكوناتها.

في تصميم توضيحي، قد تتضمن مجموعة أولى من ثمانين حالة أربعين اعتيادية، وعشرين لتقابل المعنى، واثنتي عشرة للمعلومات الناقصة، وثماني حالات لمصطلحات غير مألوفة. الأعداد خيار تخطيط وليست حجماً نموذجياً عاماً. يعتمد الدليل المناسب على تنوع الاستخدام وعواقبه. احفظ فئة كل حالة لتبقى النتائج قابلة للتفسير.

استخدم مصادر يحق للمؤسسة تقييمها، واحذف المعلومات الشخصية غير اللازمة أو احمها مع إبقاء سياق كافٍ لفهم المهمة. ليراجع مختصون بالعربية التفسير المرجعي قبل الاختبار. قد يجعل مرجع خاطئ مخرجاً صحيحاً يبدو مخطئاً، ويدفع الفريق إلى تعديل غير لازم يضعف نظاماً كان يؤدي المهمة جيداً.

احتفظ بحالات جديدة لتقييم الإعداد المعدل. إذا أضفت كل إخفاق إلى التعليمات ثم اختبرت الأمثلة نفسها فقط، فقد تقيس الألفة بالمجموعة. وثّق الفصل بين حالات التطوير والقبول والملاحظات التشغيلية اللاحقة. يتيح ذلك معرفة نوع الاستنتاج الذي تسمح به كل مجموعة، دون المبالغة في تعميم نتيجتها.

وحّد فهم المراجعين قبل الثقة في الدرجة

أعطِ مراجعَين مؤهلَين مجموعة مشتركة صغيرة ليقيّماها مستقلاً. ناقش الخلاف في المعنى ومتطلبات المهمة: هل العبارة البديلة مقبولة؟ هل افترض أحدهما قاعدة غير موجودة؟ هل الخطأ الحرج معرّف؟ عدّل المعيار إذا كشف الخلاف غموضاً. الهدف اتساق الحكم حول العمل، لا فرض ذائقة لغوية واحدة.

احتفظ بالحكمين الأولين وبالنتيجة بعد الحسم. الاتفاق بعد النقاش مفيد، لكنه ليس اتفاقاً مستقلاً منذ البداية. في الحالات المؤثرة، سجّل من حسم والدليل. وقد تحتاج مالك عمل ثالثاً إذا كان الخلاف عن الإجراء المقصود لا عن العربية. لا تجعل الأكثر ثقة في النقاش مرجعاً تلقائياً للصواب.

لا تعتمد حكماً آلياً بنموذج لغوي وحده لحسم المعنى الدقيق أو العاقبة التجارية. يمكنه مساعدة مراجعة محددة، لكن قراراته تحتاج تحققاً بمراجع بشرية موثوقة للمهمة. إذا شارك الحكمُ النظامَ المختبر نقطة ضعفه، فقد تخفي الدرجة المصقولة المشكلة بدلاً من كشفها. احتفظ بمسؤولية القبول واضحة.

اعرض القبول والتصحيح والتعليق منفصلة

في تمرين تقرير خيالي، تنتج الحالات الثمانون 58 مخرجاً مقبولاً مباشرة، وأربعة عشر يحتاج تصحيحاً بشرياً مسموحاً، وثمانية معلقة لا تقبل كما أُنتجت. القبول المباشر 58 ÷ 80 = 72.5%، والقابل للتصحيح 17.5%، والمعلق 10%. الأرقام افتراضية لشرح التقرير وليست قياساً لمنتج.

إذا صُححت الحالات الأربع عشرة بنجاح، فقد تصبح 72 حالة قابلة للاستخدام في الإجراء المدعوم، أي 90%. لا يعني ذلك أن النموذج أنتج 90% صحيحة أولاً. احفظ جهد التصحيح وطبيعته. قد تختلف حدود التصحيح المسموح بين مسودة لعميل وتصنيف منظم، ويجب أن يوضح التقرير ترتيب المراجعة الفعلي.

قسّم المعلق حسب الآلية والعاقبة. في التمرين، قد تقلب ثلاث حالات النفي، وتفسد اثنتان المعرّفات، وتبالغ ثلاث في اليقين. يجمع ذلك ثماني حالات، لكن أثرها يتوقف على المهمة. لا تسمح لنجاحات أسلوبية كثيرة بإخفاء عدد صغير من أخطاء تؤثر في قرار أو التزام أو توجيه العمل.

اعرض الشرائح ذات الصلة مع الإجمالي: المهمة والتنوع اللغوي والطول ووجود المعرّف ونوع الغموض. أظهر المقامات الصغيرة. نجاح مثالين بالكامل ليس ادعاء جودة مدعوماً عبر لهجة أو قطاع كامل. يحتاج القارئ إلى معرفة ما اختُبر وما بقي خارج الاستنتاج، لا نسبة منفصلة عن حدودها.

حوّل تحليل الإخفاق إلى تغيير مضبوط

صنّف السبب قبل العلاج: مصدر ملتبس، أو تعريف مهمة ناقص، أو تعليمة تخفي الأولوية، أو فشل في التمييز اللغوي، أو وجهة تفسد النص. تغيير النموذج أحد الخيارات فقط. قد يضيف إصلاح الطبقة الخطأ كلفة ويبقي المشكلة الحقيقية. اربط المعالجة بدليل يبين لماذا يُتوقع أن تصحح هذا الإخفاق.

استخدم اختيار الأدوات العربية إذا كان القيد في فئة المنتج، وتدريب الموظفين إذا عجز المراجع عن اكتشاف الخطأ، ونموذج تشغيل الأتمتة إذا جعل التصحيح الإجراء غير مجدٍ. اربط نتيجة الجودة بأثرها التشغيلي حتى يغذي التقييم قراراً، بدلاً من الاكتفاء بدرجة للمقارنة العامة.

بعد التغيير، أعد الحالات المتأثرة ومجموعة أوسع للتحقق من عدم التراجع. قد تتجنب تعليمة شديدة التحفظ الوعود غير المسندة لكنها تفشل في طلب اعتيادي. سجّل الإعداد والدليل والنطاق المقبول للإصدار الجديد، بدلاً من وصفه بعربية محسنة فقط. يحتاج التحسن إلى بيان ما تغير وأين تحقق.

ميّز الغموض الحقيقي من خطأ النموذج

لا تدعم بعض المدخلات جواباً قاطعاً واحداً. تأمل العبارة الافتراضية خلّوه لبكرة، وإذا تأخروا ألغوه دون المحادثة السابقة. قد يغمض المشار إليه والتوقيت والشرط. لا ينبغي أن يخترع المقيم سياقاً ثم يحكم على كل إجابة مختلفة بالخطأ. يمكن أن يشترط المرجع توضيحاً أو تفسيراً مشروطاً يسمّي المعلومات الناقصة، بدلاً من فرض استنتاج لا يسنده المدخل.

إذا أتيح السياق، فأدرج المسموح منه في المدخل والمرجع معاً. وإذا وجب تحويل بكرة إلى تاريخ، فحدّد توقيت الرسالة وقاعدة المنطقة الزمنية ذات الصلة. وإلا فقد يكون حفظ التعبير النسبي أدق من اختيار تاريخ من ساعة المقيم الحالية. يجب أن تحسم مواصفات المهمة ذلك قبل منح الدرجة، كي لا يختلف المتوقع باختلاف يوم تشغيل الاختبار.

اسمح بمجموعة إجابات مقبولة عند الملاءمة. قد يحقق سؤال توضيحي موجز ووسم منظم للمعلومة الناقصة الغرض نفسه، إذا فهمهما المراجع التالي. عرّف الشرط الجوهري المشترك بينهما. يمنع ذلك الخلط بين جملة مفضلة لدى الكاتب والتفسير الصحيح الوحيد، ويحافظ على مساحة للصياغة العربية الطبيعية دون تخفيف شرط المعنى.

ميّز كذلك المصدر الغامض من التنوع اللغوي غير المألوف للمراجع. لا يصح وصف طلب غير رسمي واضح بأنه معيب لمجرد خروجه عن الفصحى. اطلب مراجعة مؤهل يعرف الاستخدام الفعلي. وثّق الخلاف بدلاً من إعادة كتابة المصدر بصمت إلى اختبار أسهل لا يمثل الرسائل التي ستصل إلى النظام في العمل.

يجب أن يوضح القرار هل المشكلة في المدخل أو المرجع أو تعريف المهمة أو المخرج. يحسن الفصل المعالجة: قد يحل استقبال أفضل نقص السياق، وقد يحتاج النفي الواضح إلى سلوك نموذج أو تعليمات أفضل. احتفظ بالحالة الأصلية والمرجع المصحح إذا اكتشفت عيباً في التقييم نفسه، ولا تستخدم التصحيح لإخفاء تاريخ الحكم أو تغيير النتيجة دون تفسير.

اعتمد قدرة لغوية محددة الحدود

يذكر سجل الإصدار المهام وشروط المصدر والتنوع اللغوي والمخرج ومجموعة التقييم والقيود والمراجعة المتبقية. عرّف ما يحدث خارج النطاق. يجب أن يفهم المسؤول الفرق بين مسودة لمراجع ماهر ومخرج يطلق فعلاً؛ فمتطلبات الدليل تختلف بحسب الصلاحية والعاقبة، ولا يكفي نقل موافقة من أحدهما إلى الآخر.

أعد التقييم عند تغير مؤثر للنموذج أو التعليمات أو الإجراء أو المصطلحات أو المدخلات. احتفظ بالأمثلة الصعبة من التشغيل وحقق فيها دون اعتبار كل شكوى دليلاً على عيب عام. تربط أدلة الذكاء الاصطناعي السعودية اللغة بالتبني. تساعد حلول Open for AI في تحديد المهمة؛ ناقش مجموعة قبول عربية حول المعنى الذي يجب أن تحافظ عليه منشأتك.