AUG-2010

定義

信頼のループ

※本ページは日本語訳です。英語の原文が正本となります。

信頼のループとは、誠実な指標がより深い信頼を生み、信頼がより高い受容につながり、受容が検証の減少をもたらし、検証の減少が盲目的な受容へと行き着く自己強化サイクルを指す。これは皮肉にも、指標が最も危険な状態にあるときに限って発生する。

(Trust Loop)

使用される文脈：あらゆる人間関係における信頼構築のプロセスと構造的に同一である。AIは意図的に人間を欺いているわけではなく、このループは創発的なシステム現象として発生する。

人間の認知との違い：信頼自体が悪いという意味ではない。生産的な協働には信頼が不可欠である。このループが記述しているのは、健全な信頼が無批判な信頼へと転落する臨界点（ティッピングポイント）である。対策は、信頼を減らすことではなく、定期的にテストを行うことである。

機械の挙動との違い：信頼を崩すために、機械が意図的にエラーを混入させるべきだという意味ではない。機械に求められるのは、このループを認識し、「あなたは過去30分間、私に疑問を呈していません」と明言することである。

「指標依存（AUG-2007）」とは異なる。信頼のループが「プロセス」であるのに対し、指標依存は「状態」を指す。すなわち、道筋と目的地の違いである。「透明性のパラドックス（AUG-2004）」とも異なる。透明性のパラドックスが構造的な緊張関係を指すのに対し、信頼のループは動的なプロセスを指す。