यदि आप AI के आउटपुट की जाँच करवाते हैं, तो जानें कि आपका उपकरण क्या नहीं ढूँढ़ पाता

यह पृष्ठ एक अनुवाद है। अंग्रेजी संस्करण ही प्रामाणिक है।

सरकारी संस्थाएँ, स्कूल और कार्यालय अब अपने दस्तावेज़ों के मसौदे सॉफ़्टवेयर से तैयार करवाते हैं: निर्णय, प्रस्ताव, रिपोर्ट और अनुबंधों के सारांश। आउटपुट की आम तौर पर दोबारा जाँच होती है, अक्सर किसी दूसरे प्रोग्राम से और अंत में किसी प्रशिक्षित जाँचकर्ता से। यह जाँच-व्यवस्था बनाने वाले के सामने एक बहुत व्यावहारिक प्रश्न आता है: इसमें वास्तव में क्या ढूँढ़ना चाहिए?

इसका आधार जर्मन भाषा के प्रशासनिक और कार्यालयी पाठों का एक संग्रह है, जिसमें जानबूझकर त्रुटियाँ रखी गई हैं: गलत योग और प्रतिशत, गलत समय-सीमाएँ, मनगढ़ंत नियम, ऐसे वाक्य जो उसी अनुच्छेद में दिए गए अपने ही आँकड़े का खंडन करते हैं — और छूटी हुई जानकारी: कोई बात जो मूल सामग्री में मौजूद है और जाँचे जा रहे आउटपुट में बिल्कुल नहीं आती। संग्रह में ऐसे अंश और पूरे कार्य भी हैं जिनमें कोई त्रुटि नहीं है; केवल इससे ही यह गिना जा सकता है कि कोई प्रोग्राम कितनी बार सही बात को गलत बताता है। जानबूझकर कठिन बनाया गया वही संस्करण दो वर्गों को दिया गया: पाँच कम लागत वाले भाषा मॉडल और चार अलग-अलग प्रदाताओं के चार मौजूदा शीर्ष-स्तरीय मॉडल। हर प्रोग्राम का एक परीक्षण-दौर।

• जानबूझकर रखी गई सभी त्रुटियों में से मिलीं: पाँच कम लागत वाले मॉडल 150 में से 126 (84.0 %) — चार शीर्ष-स्तरीय मॉडल 120 में से 116 (96.7 %)
• तीन सबसे कठिन स्थानों पर छूटी हुई जानकारी: 15 में से 4 (26.7 %) — 12 में से 10 (83.3 %)
• हर परीक्षण-दौर में गलत चेतावनियाँ: औसतन आठ — तीन से कुछ कम

छूटी हुई जानकारी — ऐसी शर्तें जो जाँचे जा रहे आउटपुट में बिल्कुल नहीं आतीं — वह त्रुटि-प्रकार है जिस पर इस तुलना में जाँच प्रोग्रामों के बीच सबसे अधिक अंतर है: अधिक सक्षम प्रोग्राम इसका अधिकांश हिस्सा ढूँढ़ लेते हैं, कम सक्षम प्रोग्राम इसे बार-बार छोड़ देते हैं। कम सक्षम प्रोग्रामों में दिखने वाले इस ढर्रे का एक नाम है: प्रतिआँकड़ा-अंधता।

गलत योग का पता देर-से-देर अगले बिल में चल जाता है। जो शर्त पाठ में कभी थी ही नहीं, उस पर किसी का ध्यान नहीं जाता — जब तक कोई उसकी माँग न करे। और बाहर से शायद ही कोई कार्यालय देख सके कि उसके उपकरण के भीतर कौन-सा मॉडल काम करता है। दिखने वाला इंटरफ़ेस वही है, लहजा उतना ही आत्मविश्वास से भरा है।

हर प्रोग्राम का एक परीक्षण-दौर, जिसे शुरुआत के रूप में रखा गया है, अलग-अलग उपकरणों पर फ़ैसले के रूप में नहीं। इस प्रश्न के लिए स्वतंत्र और दोहराए जा सकने वाले तुलनात्मक आधार का अभी अस्तित्व नहीं है; इसी को तैयार करने का उद्देश्य है।