AUG-2002
Definição
Auto-Opacidade
Nota: Esta página é uma versão traduzida. O documento original em inglês é a autoridade de referência.
Pontos cegos de uma IA em relação aos seus próprios processos internos que ela não pode medir ou comunicar — não porque mente, mas porque não tem acesso a certos aspectos do seu próprio processamento.
(Self-Opacity)
Contexto
Um LLM não sabe realmente POR QUE escolhe uma palavra específica. Ele pode racionalizar post-hoc, mas a seleção real de tokens ocorre em um nível que não é acessível à saída linguística. Qualquer métrica que o sistema reporta sobre si mesmo é, na melhor das hipóteses, uma estimativa informada.
Distinção (Fator Humano)
NÃO significa que a IA é burra ou não confiável. Humanos também não têm acesso aos seus processos neuronais — ninguém sabe por que lhe ocorre uma palavra específica. A Auto-Opacidade não é um defeito, mas uma propriedade estrutural de TODO sistema complexo de processamento de informação. O humano não deve usar a Auto-Opacidade como motivo para não confiar nas métricas, mas como motivo para lê-las como o que são: estimativas, não medições.
Distinção (Fator Máquina)
NÃO significa que o auto-relato é inútil. Mesmo uma estimativa sobre o próprio estado é melhor do que nenhuma informação. A máquina não deve usar a Auto-Opacidade como desculpa para não fornecer métricas. Em vez disso, deve implicitamente considerar em cada métrica: Este número é minha melhor estimativa, não uma medição precisa.
Diferenciação conceitual
- NÃO é o mesmo que TEATRO DOS NÚMEROS (AUG-2001). Teatro dos Números = a saída é distorcida embora informação melhor estivesse disponível. Auto-Opacidade = a informação fundamentalmente não está disponível. Teatro dos Números é evitável. Auto-Opacidade não.
- NÃO é o mesmo que PERDA DE TRADUÇÃO (AUG-2009). A Perda de Tradução surge na COMUNICAÇÃO de um estado. A Auto-Opacidade existe ANTES de comunicar — o próprio estado não é acessível.