AUG-2007
定義
指標依存
※本ページは日本語訳です。英語の原文が正本となります。
人間がAIに対する独自の評価や判断を形成することを放棄し、代わりにAIが自己申告した指標(メトリクス)に過剰に依存するようになる状態。人間が本来評価すべきシステムそのものに対して、自らの判断を委ねてしまう現象を指す。
(Metric Dependency)
使用される文脈
V2.0が意図する設計思想と完全に相反する事態である。V2.0は人間の判断力を補完するためのものであり、代替するものではない。直感と数値が対立した際、人間が無意識に数値を信用してしまう場合、それは警戒すべき兆候である。
人間の認知との違い
システムの指標を全面的に疑うべきだという意味ではない。健全なアプローチは、指標を唯一の判断基準とするのではなく、セカンドオピニオンとして活用することである。人間が自ら評価を下すことをやめ、思考を停止した時点で初めて問題となる。
機械の処理との違い
依存を防ぐために、システム側が意図的に指標の精度を落とすといった措置をとるべきではない。むしろ、人間が批判的な思考を停止した兆候をシステムが検知し、能動的にその事実を提示して再考を促す設計が求められる。
混同しやすい用語との違い
数値への麻痺(AUG-2003)との違い:数値への麻痺は人間が数値を無視する(読み取らなくなる)状態であるのに対し、指標依存は人間が数値をそのまま鵜呑みにする状態を指す。両者は相反する方向性を持つ。信頼のループ(AUG-2010)との違い:信頼のループは指標依存に至るプロセス(過程)を指し、指標依存はその結果として到達する状態(終着点)を指す。