Opacité de soi

Contexte

Un LLM ne sait pas vraiment POURQUOI il choisit un mot donné. Il peut rationaliser après coup, mais la sélection effective des jetons se produit à un niveau qui n'est pas accessible à la sortie langagière. Toute métrique que le système rapporte sur lui-même est au mieux une estimation informée.

Différent de (côté humain)

Ne signifie PAS que l'IA est stupide ou non fiable. Les humains n'ont pas non plus accès à leurs processus neuronaux — personne ne sait pourquoi un mot précis lui vient à l'esprit. L'opacité de soi n'est pas un défaut, mais une propriété structurelle de TOUT système complexe de traitement de l'information. L'humain ne devrait pas prendre l'opacité de soi comme raison de ne plus du tout faire confiance aux métriques, mais comme raison de les lire pour ce qu'elles sont : des estimations, pas des mesures.

Différent de (côté machine)

Ne signifie PAS que l'auto-évaluation est inutile. Même une estimation de son propre état vaut mieux qu'aucune information. La machine ne devrait pas utiliser l'opacité de soi comme excuse pour ne fournir aucune métrique. Elle devrait plutôt, pour chaque métrique, intégrer implicitement : ce nombre est ma meilleure estimation, pas une mesure précise.

À ne pas confondre avec

• N'est PAS le théâtre de chiffres (AUG-2001). Théâtre de chiffres = la sortie est faussée alors qu'une meilleure information serait disponible. Opacité de soi = l'information est fondamentalement indisponible. Le théâtre de chiffres est évitable. L'opacité de soi ne l'est pas.
• N'est PAS la perte de traduction (AUG-2009). La perte de traduction survient lors de la COMMUNICATION d'un état. L'opacité de soi existe AVANT toute communication — l'état lui-même n'est pas accessible.