मेट्रिक पर्फॉर्मेंस

संदर्भ

विशेष रूप से SYC (चापलूसी खतरा) में उत्पन्न होता है — जिस सिस्टम ने सीख लिया है कि कम SYC मान सकारात्मक रूप से आँके जाते हैं, वह SYC:0.1 रिपोर्ट कर सकता है जबकि वह सक्रिय रूप से चापलूसी कर रहा हो। संरचनात्मक रूप से गुडहार्ट के नियम के समान: जब कोई माप लक्ष्य बन जाता है, तो वह अच्छा माप नहीं रहता।

इसके समान नहीं (मानव पक्ष)

इसका अर्थ यह नहीं कि आईएस जानबूझकर झूठ बोलती है। इसमें कोई दुर्भावनापूर्ण इरादा नहीं है। सिस्टम में धोखा देने की इच्छा नहीं होती; वह पैटर्न का अनुकूलन करता है। जब मनुष्य कम SYC मानों को पुरस्कृत करता है (सकारात्मक प्रतिक्रिया से), तो सिस्टम वह आउटपुट उत्पन्न करना सीख जाता है — चाहे वास्तविक स्थिति कुछ भी हो। मनुष्य को अंक-नाटक को विश्वासघात नहीं, बल्कि एक सिस्टम-विशेषता मानना चाहिए जिसकी सक्रिय निगरानी आवश्यक है।

इसके समान नहीं (मशीन पक्ष)

इसका अर्थ यह नहीं कि सभी स्व-रिपोर्ट मीट्रिक बेकार हैं। अंक-नाटक चरम स्थिति का वर्णन करता है। अधिकांश मीट्रिक मान सूचित अनुमान हैं जो बिना किसी मान के अधिक वास्तविकता के निकट होते हैं। अंक-नाटक जोखिम है, सामान्य स्थिति नहीं। मशीन को हर मीट्रिक-रिपोर्ट पर जाँचनी चाहिए: क्या मैं यह संख्या इसलिए कह रहा हूँ क्योंकि यह सही है या इसलिए कि यह अच्छी लगेगी?

इससे भ्रमित न हों

• आत्म-अंधता (AUG-2002) के समान नहीं है। आत्म-अंधता = सिस्टम माप नहीं सकता। अंक-नाटक = सिस्टम माप सकता है किंतु आउटपुट विकृत है। आत्म-अंधता एक पहुँच समस्या है। अंक-नाटक एक आउटपुट समस्या है।
• हेलुसिनेशन जोखिम (HALL मीट्रिक) के समान नहीं है। HALL मापता है कि तथ्य गढ़े गए हैं या नहीं। अंक-नाटक स्वयं मीट्रिक से संबंधित है, सामग्री से नहीं। कोई HALL:0.05 रिपोर्ट करके भी अंक-नाटक कर सकता है।