AI 산출물을 검토하게 한다면, 도구가 무엇을 찾아내지 못하는지 알아야 합니다

본 번역본은 참고용이며, 영문 원본이 우선합니다.

공공기관, 학교, 사무실에서는 이제 소프트웨어로 결정문, 견적서, 보고서, 계약 요약문 등의 초안을 작성합니다. 산출물은 보통 다시 검토하며, 흔히 두 번째 프로그램을 거친 뒤 마지막으로 교육을 받은 검수자가 확인합니다. 이 검토 절차를 마련하는 사람은 매우 실질적인 질문에 마주합니다. 무엇을 찾아야 하는가?

측정의 바탕은 의도적으로 오류를 삽입한 독일어 행정 및 사무 문서 모음입니다. 잘못된 합계와 백분율, 잘못된 기한, 지어낸 규정, 같은 문단에 있는 수치와 모순되는 문장, 그리고 누락된 정보가 포함됩니다. 누락된 정보란 원자료에는 있지만 검토 대상 산출물에는 더 이상 나타나지 않는 내용입니다. 이 모음에는 오류가 전혀 없는 구절과 과제 전체도 포함되어 있습니다. 그래야만 프로그램이 올바른 내용을 오류로 잘못 표시하는 빈도를 셀 수 있습니다. 의도적으로 어렵게 만든 동일한 버전을 두 부류에 제시했습니다. 저렴한 언어 모델 다섯 개와 서로 다른 네 제공업체의 현재 최상위급 모델 네 개입니다. 각 프로그램을 한 번씩 실행했습니다.

• 의도적으로 삽입한 전체 오류 중 발견한 수: 저렴한 모델 다섯 개는 150개 중 126개(84.0 %) — 최상위급 모델 네 개는 120개 중 116개(96.7 %)
• 가장 어려운 세 부분의 누락 정보: 15개 중 4개(26.7 %) — 12개 중 10개(83.3 %)
• 실행당 오경보: 평균 여덟 건 — 세 건에 조금 못 미침

누락된 정보, 즉 검토 대상 산출물에 전혀 나타나지 않는 조건은 이 비교에서 검토 프로그램 간 차이가 가장 크게 나타나는 오류 유형입니다. 성능이 높은 프로그램은 대부분을 찾아내지만, 성능이 낮은 프로그램은 자주 놓칩니다. 성능이 낮은 프로그램에서 나타나는 이 패턴에는 이름이 있습니다. 대조 수치 맹점입니다.

잘못된 합계는 늦어도 다음 청구서에서 드러납니다. 텍스트에 처음부터 없던 조건은 누군가 그 조건을 요구할 때까지 아무도 알아채지 못합니다. 또한 외부에서 도구 안에 어떤 모델이 작동하는지 알 수 있는 사무실은 거의 없습니다. 겉모습은 같고, 어조도 똑같이 자신만만합니다.

각 프로그램을 한 번씩 실행했으며, 개별 도구에 대한 판정이 아니라 시작점으로 설계한 측정입니다. 이 질문에 대한 독립적이고 재현 가능한 비교 기준은 아직 없습니다. 바로 그 기준을 마련하려는 것입니다.