إذا كنت تُخضع مخرجات الذكاء الاصطناعي للتدقيق، فاعرف ما لا تكتشفه أداتك

هذه الصفحة مترجمة. يُعتد بالنسخة الإنجليزية كمرجع أصلي.

باتت الجهات الحكومية والمدارس والمكاتب تترك للبرامج صياغة مسودات نصوصها: القرارات، وعروض الأسعار، والتقارير، وملخصات العقود. وعادةً ما تُدقَّق المخرجات مرة أخرى، غالباً بواسطة برنامج ثانٍ، وفي النهاية بواسطة مراجع مدرَّب. ومن يُعِدّ عملية التدقيق هذه يواجه سؤالاً عملياً جداً: عمَّ ينبغي أن تبحث فعلاً؟

الأساس هو مجموعة من النصوص الإدارية والمكتبية باللغة الألمانية أُدرجت فيها أخطاء عمداً: مجاميع ونسب مئوية خاطئة، ومواعيد نهائية خاطئة، وقواعد مختلقة، وجمل تناقض الرقم الوارد فيها في الفقرة نفسها — ومعلومات مفقودة: شيء موجود في المادة الأصلية ثم لا يعود يظهر إطلاقاً في المخرجات التي يجري تدقيقها. وتحتوي المجموعة أيضاً على مقاطع ومهام كاملة خالية تماماً من الأخطاء؛ وهذا وحده ما يتيح إحصاء عدد المرات التي يشير فيها برنامج خطأً إلى شيء صحيح. وقُدِّمت النسخة نفسها، التي جُعلت صعبة عمداً، إلى فئتين: خمسة نماذج لغوية منخفضة التكلفة وأربعة من النماذج الرائدة الحالية من أربعة مزوّدين مختلفين. تشغيل واحد لكل برنامج.

• الأخطاء المكتشفة من مجموع الأخطاء المدرجة عمداً: خمسة نماذج منخفضة التكلفة 126 من 150 (84.0 %) — أربعة نماذج رائدة 116 من 120 (96.7 %)
• المعلومات المفقودة في المواضع الثلاثة الأصعب: 4 من 15 (26.7 %) — 10 من 12 (83.3 %)
• الإنذارات الكاذبة لكل تشغيل: ثمانية في المتوسط — أقل بقليل من ثلاثة

المعلومات المفقودة — الشروط التي لا تظهر إطلاقاً في المخرجات التي يجري تدقيقها — هي نوع الأخطاء الذي تتفاوت فيه برامج التدقيق أكثر من غيره في هذه المقارنة: تكتشف البرامج الأقوى معظمها، بينما تفوّتها البرامج الأضعف بانتظام. ولهذا النمط لدى البرامج الأضعف اسم: العمى عن الرقم المضاد.

يظهر المجموع الخاطئ عند الفاتورة التالية على أبعد تقدير. أما الشرط الذي لم يرد في النص أصلاً، فلا يلحظه أحد — إلى أن يطالب به شخص ما. ومن الخارج، يكاد لا يستطيع أي مكتب معرفة النموذج الذي يعمل داخل أداته. الواجهة واحدة، والنبرة واثقة بالقدر نفسه.

تشغيل واحد لكل برنامج، بوصفه بداية لا حكماً على أدوات بعينها. ولا يوجد حتى الآن أساس مرجعي مستقل وقابل لإعادة الإنتاج للمقارنة في هذه المسألة؛ وهذا ما يُراد إنشاؤه.