كتالوج البيانات وتتبعها للذكاء الاصطناعي

يساعد كتالوج البيانات الفريق على اكتشاف البيانات المتاحة وفهمها، بينما يوضح تتبع البيانات كيفية إنتاج قيمة أو وثيقة معينة ومواضع استخدامها. وتحتاج المؤسسة التي تستعد للذكاء الاصطناعي إلى الأمرين؛ فالفهرس القابل للبحث لا يشرح وحده قيمة محولة، ومخطط المعالجة التقني قد لا يبين ما إذا كانت المادة الأصلية مصرحاً بها لغرض العمل المقترح.

سؤال الجاهزية عملي: هل يستطيع الفريق تحديد المصدر الدقيق والمعنى والنسخة والتحويلات وشروط الوصول وراء الأدلة التي ستستهلكها الخدمة؟ وهل يمكنه معرفة ما يحتاج إلى مراجعة عند تغير المصدر؟ إذا تعذرت الإجابة ضمن حالة استخدام محدودة، فلن يعوض ذلك وجود حصر كبير على مستوى المؤسسة لا يوفر الأدلة القابلة للاستخدام.

هذا الدليل موجه لمهندسي البيانات وفرق الحوكمة ومالكي الأعمال. ويبني حداً عملياً لكتالوج وتتبع البيانات حول مساعد افتراضي لتلخيص تقارير الموردين. والمثال توضيحي، وليس منهجاً لمحاسبة الكربون أو وصفاً لتكليف منفذ. استخدمه ضمن تقييم جاهزية بيانات المؤسسة والذكاء الاصطناعي لتحديد ما يمكن أن تعتمد عليه تجربة منضبطة والعلاقات المفقودة التي يلزم حسمها أولاً.

حدد المهمة التي يجب أن يساعد الكتالوج في إنجازها

ابدأ بسؤال المستخدم بدلاً من حملة لجمع البيانات الوصفية. فقد يحتاج المحلل إلى بيانات موردين معتمدة لكيان وفترة محددين، ويحتاج المراجع إلى فصل الأرقام التي أبلغ عنها المورد عن الأرقام التي تحقق منها طرف مستقل، ويحتاج المهندس إلى معرفة التحويل الذي أنتج حقل التطبيق. وتحدد هذه المهام الحد اللازم من البيانات الوصفية وروابط التنقل بين السجلات.

سجل الأصل على مستوى يمكن عنده بيان مالكه واستخدامه المسموح بصورة متماسكة. فقد يجمع المجلد بيانات غير مترابطة، وقد تضم قاعدة واحدة جداول ذات صلاحيات مختلفة. وفي المقابل قد يجعل اعتبار كل ملف مؤقت أصلاً مستقلاً اكتشاف البيانات صعباً. افصل مجموعة البيانات المنطقية عن صيغ توزيعها أو واجهاتها المتاحة وعن النسخ المحددة المستخدمة في التقييم.

تقدم مفردات كتالوج البيانات DCAT 3 الصادرة عن W3C لغة معيارية لوصف مجموعات البيانات وخدماتها وتبادل بياناتها الوصفية. لكنها لا تحدد مسؤوليات الأعمال داخل المؤسسة، ولا تتحقق من صحة البيانات، ولا تجعل الإدراج في الكتالوج دليلاً كافياً للجاهزية. اختر تمثيلاً يخدم القرار دون اعتبار المطابقة الوصفية حلاً لتلك الأسئلة.

حدد أسئلة قليلة يجب أن يجيب عنها الكتالوج بنجاح قبل توسيع نطاقه. ينبغي أن يستطيع عضو جديد معرفة مالك الأصل ومعناه والفترة المتاحة ومسار الوصول المعتمد وقيوده المعروفة. وإذا احتاج إلى اجتماع غير رسمي لفهم كل حقل، فقد سجل الكتالوج أسماء دون أن يجعل البيانات قابلة للاستخدام العملي.

نموذج أصلي للحد الأدنى من سجل الكتالوج

حقول كتالوج لمساعد مقترح لتقارير الموردين

مجموعة الحقول	محتوى توضيحي	سؤال الجاهزية
الهوية والنطاق	أرقام منشأة أبلغ عنها المورد لكيان وفترة مسميين	هل تصف الحقيقة التي سيناقشها المساعد؟
الملكية والحجية	مالك بيانات المشتريات ومسؤول مراجعة المصدر وحالة الادعاء	من يشرح التفسير ويعتمده؟
النسخ والإتاحة	إصدار الوثيقة ووقت الإدخال وعلاقة الاستبدال	ما المعلومات المتاحة في الوقت المعني؟
المعنى والجودة	الوحدات وحدود التقرير والقيم المفقودة والتصحيحات غير المحسومة	هل تقارن القيم دون تغيير معناها؟
الوصول والاستخدام	المستخدمون واتفاق المصدر ومسار المعالجة المصرح به	هل يجوز للتجربة استخدام المادة والإفصاح عنها؟
المشتقات والاعتماد	الصفوف المستخرجة والجدول الموحد والفهرس ومراجع التقييم	ما الذي يعتمد على المصدر وقد يحتاج إلى تحديث؟

أرفق دليلاً بالادعاءات الوصفية المهمة. فعبارة «أكد المالك» تحتاج إلى مرجع التأكيد ونطاقه. وعبارة «يحدث يومياً» تحتاج إلى فصل الموعد المتعاقد عليه عن التسليم المرصود فعلاً. كما تحتاج «معتمد للذكاء الاصطناعي» إلى غرض وجمهور ومسار معالجة محددين. وأظهر الحقول المجهولة حتى لا تخفي استمارة تبدو مكتملة قرارات لم تتخذ بعد.

يمكن أن يتضمن الكتالوج إحالات إلى أدلة مقيدة بدلاً من عرضها. فقد تكشف البيانات الوصفية مشاريع سرية أو أسماء بيانات حساسة أو وجود تحقيق. طبق صلاحيات مناسبة على الكتالوج والمعاينات. وقد تختلف صلاحية اكتشاف وجود البيانات عن صلاحية قراءة سجلاتها، ويحتاج الاثنان إلى تصميم مقصود لا إلى إعداد افتراضي واحد.

تتبع ادعاء واحداً من المورد إلى الإجابة المقترحة

لنفترض أن وثيقة مورد مصرحاً باستخدامها تبلغ عن 2.4 طن من مكافئ ثاني أكسيد الكربون لمنشأة واحدة خلال ربع سنة. وستلخص الخدمة المعلومات التي أبلغ عنها المورد لمراجع داخلي في المشتريات. ولن تصادق على الانبعاثات أو تستنتج بصمة منتج أو ترتب الموردين لإرساء آلي. وتحدد هذه الحدود ما يجب أن تحافظ عليه سلسلة الأدلة.

ينشئ الاستخراج صفاً يتضمن القيمة والوحدة والمنشأة والفترة وموضع المعلومة في المصدر. وتحول خطوة توحيد 2.4 طن إلى 2,400 كيلوغرام باستخدام معامل 1,000. ويجب أن يبين الحقل الجديد وحدة الكيلوغرام مع إبقاء الادعاء الأصلي متاحاً. وإذا تغير الرقم دون تسمية الوحدة، فقد تغير المعنى رغم إبلاغ عمليتي الاستخراج والتحويل عن اكتمالهما بنجاح.

ولنفترض أن شخصاً ربط رقم المنشأة والفترة بسجل شراء 400 صندوق، ثم قسم القيمة على عدد الصناديق فحصل على 6 كيلوغرامات لكل صندوق. الحساب صحيح، لكن التفسير غير مثبت؛ فالمصدر لم يوزع جميع انبعاثات المنشأة على تلك المشتريات. ويجب أن يكشف التتبع الربط والحساب حتى يرفض المراجع ادعاءً غير مسند على مستوى المنتج. فقد يكون الحساب قابلاً للتكرار ويجيب مع ذلك عن سؤال غير مناسب.

ينبغي أن تحتفظ الإجابة بنوع الادعاء: رقم أبلغ عنه المورد للمنشأة والفترة المعينتين وضمن الحدود المذكورة في المصدر. وتصل الإحالة إلى الدليل ذي الصلة، لا إلى الصفحة الرئيسية للمورد وحدها. ويحتاج النظام أيضاً إلى تمثيل التصحيح اللاحق دون محو الادعاء السابق الذي كان متاحاً لقرار سابق.

مثل السلسلة بالأصول والأنشطة والمسؤوليات

تصف عائلة PROV الصادرة عن W3C التتبع باستخدام كيانات وأنشطة وجهات مسؤولة يمكن تحديدها. وهذا أساس مفيد لتصميم أصلي داخل المؤسسة. فالوثيقة والجدول المستخرج أصلان، والاستخراج وتوحيد الوحدة نشاطان، ويحمل المورد ومالك البيانات وخدمة المعالجة مسؤوليات مختلفة. ولا ينبغي دمج هذه الأدوار في حقل عام واحد بعنوان «المنشئ».

امنح كل ادعاء مهم هوية ثابتة وحدد نسخته المستخدمة. وسجل مواصفات التحويل وإعداداته ذات الصلة ومراجع المدخلات والمخرجات ووقت التنفيذ. وينبغي أن يعرف المهندس هل نسخت القيمة أم حولت أم عوض نقصها أم استنتجت أم صححت يدوياً. فلكل عملية أثر مختلف في الدليل، حتى عندما تشترك النتائج في نوع رقمي واحد.

افصل التنفيذ التقني عن اعتماد الأعمال. فمعرف مهمة المعالجة يحدد التنفيذ الذي أنتج الجدول، لكنه لا يبين قبول المشتريات لتفسيره. ويجب أن يحدد اعتماد المراجع ما فحصه ونسخة المصدر والاستخدام المسموح والقيود المتبقية. وإذا اقتصر الاعتماد على دقة الاستخراج، فلا يعرض على أنه اعتماد لبيان المورد البيئي الأصلي.

وتدخل الخطوات اليدوية في السلسلة أيضاً. فكثيراً ما تقع تعديلات الجداول ومرفقات البريد المنسوخة والتعديلات التي يعتمدها المراجعون بين أنظمة جيدة التسجيل. وثق التغيير المهم والدور المسؤول عنه دون جمع محتوى شخصي غير لازم. وإذا تعذر إعادة بناء تحويل يدوي مؤثر، فسجل العلاقة كغير متحقق منها بدلاً من رسم سهم واثق فوق الفجوة.

الزمن وسجل التصحيح جزء من الدليل

افترض أن المورد صحح الرقم من 2.4 طن إلى 2.1 طن في 16 مايو. لم يكن ممكناً للقطة تقييم جمدت في 1 مايو استخدام التصحيح وقتها. وقد يحتاج الملخص الحالي إلى القيمة المصححة، بينما يحتاج فحص قرار قديم إلى معرفة الأدلة المتاحة آنذاك. ولا يكفي حقل واحد بعنوان «أحدث قيمة» للإجابة عن السؤالين.

سجل فترة الحدث أو التقرير ووقت نشر المصدر أو اعتماده ووقت استلام المؤسسة له ووقت إتاحته للتطبيق المقصود. فقد تختلف هذه الأزمنة. واحتفظ بعلاقات التعديل والاستبدال وسببها عندما يكون معروفاً. وتجنب تعديل صف تاريخي بطريقة تجعل تصحيحاً لاحقاً يبدو متاحاً في وقت أسبق من وصوله الفعلي.

اختر السلوك الزمني وفق الاستخدام. فقد يفضل البحث المعرفي الحالي أحدث نسخة معتمدة مع سياقها التاريخي، بينما يحتاج التقييم التنبؤي إلى المعلومات المتاحة وقت القرار التاريخي. وقد يغير بناء بيانات التقييم من جداول مصححة اليوم التجربة بصمت. لذلك ينبغي أن يكشف الكتالوج السجل المتاح وحدوده قبل الوعد بإعادة بناء الماضي.

وضح ما يمكن إعادة إنتاجه فعلاً. فحفظ معرف الوثيقة دون محتوى نسختها قد لا يكفي إذا استبدل الملف. وحفظ الإعدادات دون لقطة المصدر قد يعيد الإجراء ولا يعيد الدليل. كما أن بعض مخرجات النماذج متغيرة؛ فلا تساو بين قابلية إعادة اختيار المصادر والتحويلات وبين ضمان توليد النص نفسه حرفياً في كل تنفيذ.

وفي أنظمة الاسترجاع، أدرج العلاقة بين نسخة المصدر والنص المستخرج وأجزائه وإعداد التضمينات وبناء الفهرس. فمعرف المتجه وحده ليس إحالة مقروءة إلى المصدر. وتحتاج الخدمة إلى طريقة منضبطة لاستعادة الدليل وبيانات انطباقه. وإذا أعيدت معالجة الوثيقة بتقسيم مختلف، فاحفظ ما يكفي من الهوية لتمييز تعديل الادعاء نفسه عن تغيير تمثيله التقني فقط.

وفي البيانات التنبؤية، سجل فترة المدخلات وافتراضات الإتاحة بجانب نسخة التحويل. فقد يستخدم التجميع حقلاً مشروعاً لكنه يشمل سجلات وصلت بعد وقت التنبؤ المقصود. ولن يكشف مخطط يصل الجداول الصحيحة هذه المشكلة ما لم يمثل المرشح الزمني. أدرج الاستعلام أو مواصفات قابلة للفحص عند الحاجة، واختبر حالات حول الحد. وبذلك يشرح التتبع المعلومات المتاحة فعلاً بدلاً من الاكتفاء بقائمة أنظمة متصلة.

استخدم اتجاهي التتبع لقرارين مختلفين

يسأل التتبع إلى الخلف عن أصل إجابة أو متغير أو حقل. ويفيد في فحص قيمة مشكوك فيها أو تحويل وحدة أو نسخة مصدر وراء الرد. أما التتبع إلى الأمام فيسأل عن البيانات والفهارس والتقارير والاختبارات التي تعتمد على مصدر. ويفيد عند سحب بيان مورد أو تغير ترخيص أو ظهور تصحيح يستدعي إعادة التقييم.

يحتاج الاتجاهان إلى حدود صريحة. فقد يغذي المصدر جدول مستودع ومخزن نصوص مستخرجة وفهرس بحث وتحليلاً صدر يدوياً. ولا يثبت تسجيل مسار المستودع اكتمال تغطية الاستخدامات اللاحقة. حدد المستهلكين المعروفين ومالكيهم والصادرات غير المدارة. وإذا تعذر حصر الجميع، فسجل نهاية ما تعرفه المؤسسة وحدد ضابطاً متناسباً للتوزيع اللاحق.

اختبر الاتجاهين في تجربة الجاهزية على مسارات مختلفة جوهرياً. تتبع إجابة إلى ادعائها، ثم أدخل تعديلاً اصطناعياً مصرحاً به وحدد المشتقات التي ينبغي أن تتغير. وافحص وصول الإشعارات ومهام إعادة البناء إلى أصحابها. وهذا دليل على المسارات المختبرة، وليس شهادة باكتشاف كل مستهلك لم يسجل استخدامه.

وتنتقل تغيرات الحذف والاحتفاظ والوصول عبر المشتقات أيضاً. فحذف الوثيقة من مجلدها لا يثبت اختفاء معلوماتها من النص المستخرج أو فهرس التضمينات. نسق هذه الاختبارات مع جاهزية الصلاحيات وتتبع المصادر. ويتوقف الإجراء المناسب على الغرض والحقوق والتزامات الاحتفاظ المنطبقة، لا على افتراض عام بحذف كل نسخة فوراً في جميع الحالات.

قس تغطية التتبع وفق حصر معلن

عرف المسار المكتمل قبل عرض نسبة التغطية. ففي هذا المساعد قد يتطلب الاكتمال نسخة المصدر وموضع الاستخراج وقاعدة الوحدة وربط السجل وحالة الادعاء النهائي. ويعد المسار الذي يتوقف عند جدول المستودع جزئياً. كما أن مخطط معالجة استنتج من أسماء الملفات لا يعادل دليلاً مرصوداً أو متحققاً منه على التحويل.

صنف المسارات المعلنة إلى مسندة أو جزئية أو غير متحقق منها أو خارج حدود التقييم، واشرح أثر كل فجوة. فقد لا يؤثر غياب تحويل لوصف اختياري غير مستخدم كثيراً في التجربة، بينما يمنع غياب قاعدة تحويل رقم يعرض لصاحب القرار التقدم. ويمكن أن يخفي عد جميع المسارات بالتساوي هذا الفرق، فأبق علاقات الاعتماد الحرجة ظاهرة.

لا تقل «التتبع كامل» دون تحديد الحصر الذي تعنيه. فالمصادر الجديدة والتصدير اليدوي وتغير المعالجة قد تغير المقام. حافظ على إجراء اكتشاف، واطلب تسجيل اعتماد المستهلكين الجدد عند الحاجة. وتحتاج مقاييس الأداة إلى تفسير؛ فنجاح مسح الموصل قد يثبت جمع البيانات الوصفية دون أن يثبت معرفة معناها أو تحويلاتها اليدوية.

استخدم فحوص جودة بعينات ممثلة عندما يلزم تقدير للمجتمع، واحتفظ بفحوص موجهة مستقلة للمسارات الصعبة أو عالية الأثر. فاكتمال سجل الكتالوج وصحة القيمة قياسان مختلفان. اعرضهما معاً إذا اعتمد القرار عليهما، مع ذكر اللقطة المعنية وحدود المراجعة.

تمرين جاهزية عملي قبل اختيار منصة للكتالوج

1. اختر مهمة ذكاء اصطناعي واحدة وحدد جمهورها ومصادرها والمخرجات المسموحة.
2. أنشئ سجلات لأصغر مجموعة أصول لازمة، مع إبقاء الحقول المجهولة ظاهرة.
3. اختر ادعاءً معتاداً وآخر مصححاً وثالثاً مر بتحويل يدوي.
4. تتبع كل ادعاء إلى نسخته الأصلية وإلى مشتقاته المعروفة.
5. اطلب من مختص شرح الوحدات والحدود والتفسيرات المسموحة بالأدلة المسجلة.
6. أدخل تصحيحاً منضبطاً وحدد السجلات وحالات التقييم والفهارس التي تحتاج مراجعة.
7. اطلب من فريق مستلم تكرار الفحص دون مساعدة غير موثقة من المحلل الأصلي.

سجل الوقت والأدلة اللازمة للتمرين، دون جعل السرعة معيار النجاح الوحيد. فالرد السريع الذي يهمل حدود التقرير غير مفيد. وينبغي أن تكشف النتيجة البيانات الوصفية الناقصة والتحويلات غير القابلة للتتبع والمسؤوليات الغامضة والسجل غير المتاح. وبذلك تنتج متطلبات محددة للأدوات والإجراءات بدلاً من قائمة ميزات افتراضية.

قد يكفي سجل بسيط لتقييم ضيق إذا كان منضبطاً ومحدثاً، بينما تحتاج محفظة أكبر إلى اكتشاف آلي وموصلات وجمع تتبع ومسارات وصول. قيم المنصة على المسارات الفعلية الصعبة، بما فيها التحويلات اليدوية وتعديلات المصادر. ولا يثبت عرض متقن على بيانات نظيفة كيفية تعامل الأداة مع أدلة المؤسسة المتنوعة.

أدخل المسؤولية ومعالجة التغيير ضمن القبول

افصل مسؤولية المعنى عن تشغيل المعالجة. فقد يحافظ المهندسون على عمل الموصل، بينما يحدد مالك البيانات تغير حدود التقرير. وقد يحصل مدير المورد على بيان مصحح، بينما تقرر جهة الحوكمة استخدامه المسموح. حدد التسليم بين هذه الأدوار والدليل الذي يؤكد تنفيذ كل مسؤولية، بدلاً من نسبة كل العمل إلى فريق تقني واحد.

ضع أحداثاً تستدعي المراجعة، مثل مصدر جديد أو تغير البنية أو تحويل الوحدات أو تعديل اتفاق المصدر أو إضافة مستهلك. وعندما يكشف فحص آلي تغيراً، حدد من يفسر أثره. فالتنبيه بلا مسؤول لا يحافظ على الجاهزية. ويمكن لإجراء يدوي أن يظل فعالاً إذا ناسبت مسؤولياته وأدلته وأوقات استجابته حالة الاستخدام المحدودة وخضع للاختبار.

ضع العلاقات غير المحسومة في قائمة معالجة مرتبطة بأدلة قبول. فعبارة «حسنوا التتبع» واسعة. أما «حفظ الادعاء الأصلي والمصحح مع فصل وقت النشر والإدخال وإظهار الاسترجاع الحالي والتاريخي» فتحدد نتيجة قابلة للفحص. وأبق العيب الأصلي والقرارات المتأثرة مرتبطين بالمهمة حتى لا يضيع سبب العمل عند إغلاقها.

يسمي استنتاج الجاهزية الأصول ونسخها والمسارات المتتبعة والاستخدامات المسموحة والقيود. وقد يجيز تلخيصاً داخلياً محدوداً مع استبعاد مقارنة بصمة المنتجات لغياب أساس التخصيص. ولإجراء مناقشة تقييم الجاهزية وكتالوج البيانات وتتبعها، أحضر مخرجاً مقترحاً وسجلات مصادره ومشكلة تحويل معروفة. فمسار قصير يفسر قراراً فعلياً بداية أقوى من حصر كبير تبقى أهم علاقاته مفترضة.