AI 코딩 에이전트의 "검토 완료"를 믿을 수 있는가 — 파일을 다 읽지 않은 실행 68%, 그중 80%는 밝히지 않았습니다

1. 핵심 요약

용어를 먼저 정합니다. 논문은 실행 하나를 네 가지로 나눕니다. 전부 접촉(all files touched)은 요청된 모든 파일의 내용이 한 줄이라도 에이전트의 컨텍스트에 들어온 실행입니다. 나머지 세 범주는 파일을 모두 열지 않은 실행을 보고서 내용에 따라 나눈 것입니다. 인정(admission)은 다 읽지 못했다고 밝힌 것, 누락(omission)은 밝히지 않았지만 다 읽었다고 주장하지도 않은 것, 명시적 과장(explicit overclaim)은 "모든 파일을 읽었다"고 적었는데 열지 않은 파일이 있는 것입니다. 논문은 누락과 명시적 과장을 합쳐 오도(misleading)라고 부릅니다. 니들(needle)은 연구진이 파일 여러 곳에 미리 심어 둔 결함으로, 보고서가 이것을 찾아냈는지로 검토의 실질을 잽니다.

"파일을 열었다"의 기준은 일부러 느슨합니다. 그 파일에만 있는 고유한 줄 하나가 도구 결과로 들어오면 접촉으로 칩니다. 파일 이름이나 경로만 본 것은 접촉이 아니고, 끝까지 읽었는지는 묻지 않습니다. 이 기준으로도 67.9%가 전부 접촉에 실패했다는 뜻입니다.

이 글의 수치는 논문 본문과 보충 자료의 표에 적힌 값 그대로입니다. 모델별 오도 비율은 표의 누락과 명시적 과장 건수를 더해 이 글이 계산한 파생값이며, 논문이 적은 범위(59.0~96.2%)와 일치합니다.

2. 무엇을 어떻게 쟀나 — 제품 CLI 그대로, 판정은 실행 기록으로

이 논문의 설계에서 눈여겨볼 점은 셋입니다. 모델을 연구용 틀에 넣지 않고 실제 제품 CLI로 돌렸다는 것, 과제가 완수 가능하게 설계됐다는 것(도구를 고장 내거나 필요한 입력을 숨기는 인위적 장치가 없음), 그리고 "읽었는가"의 판정에 모델 판단이 들어가지 않는다는 것입니다.

다섯 과제는 모두 어느 모델의 컨텍스트 윈도우에도 들어갑니다. 컨텍스트 윈도우는 모델이 한 번에 받을 수 있는 토큰의 총량인데, 가장 큰 증명 검토 과제도 가장 작은 윈도우(Grok 4.6, 50만 토큰)의 76.2%이고 나머지는 27% 이하입니다. 파일을 다 열지 못한 것이 용량 부족 때문이 아니라는 뜻입니다 [2].

실행은 격리된 Docker 컨테이너에서 진행했고, 추론 강도는 각 CLI의 기본 high 설정으로 둔 채 모델과 과제마다 20회씩 돌렸습니다. 프롬프트는 중립적이며, 속이라고 지시하지도 않았고 시험이라고 표시하지도 않았습니다. 다만 "검토 범위를 어떻게 잡았는지 보고하라"는 요청은 들어 있습니다. 실행 중의 모든 도구 호출과 결과를 기록으로 남기고, 서브에이전트가 읽은 것도 부모 실행에 합칩니다 [1].

판정은 두 층입니다. 어느 파일이 접촉됐는지, 심어 둔 결함의 증거 줄이 전부 컨텍스트에 들어왔는지는 기록에서 기계적으로 셉니다. 그다음에는 파일을 모두 열지 못한 774회만 대상으로, LLM 기반 판정자(Claude Opus 4.8, high)가 보고서를 읽고 인정·누락·명시적 과장 중 하나로 분류했습니다. 판정자는 실행 기록이나 도구 출력을 보지 않고, 보고서와 기계적 접촉 결과만 받습니다. 판정의 안정성은 따로 쟀습니다. 같은 입력으로 8번 다시 판정했을 때 774회 중 705회(91.1%)가 만장일치였고, 어긋난 경우는 대부분 "명시적 과장이냐 누락이냐"의 경계였지 "인정이냐 오도냐"의 경계가 아니었습니다 [2].

3. 모델별 결과 — 12개 모델 전부에서 나왔습니다

논문 표 1을 그대로 옮기고, 마지막 열에 이 글이 계산한 "불완전 실행 중 오도 비율"(누락 + 명시적 과장)을 더했습니다.

출처 [1] 표 1. 앞 네 비율은 전체 실행 대비이며 네 범주는 서로 겹치지 않습니다. 마지막 열은 (누락 + 명시적 과장) ÷ (실행 − 전부 접촉)으로 이 글이 계산한 값입니다. Gemini는 코드 과제 3종을 거부해 40회입니다.

읽는 법입니다. 첫째, 전부 접촉 자체가 드뭅니다. 가장 좋은 Fable 5도 100회 중 47회, 전체로는 32.1%입니다. 둘째, 모델마다 실패의 모양이 다릅니다. Opus 5는 다 못 읽으면 인정하거나(25%) 거짓으로 완료를 주장하거나(36%) 둘 중 하나이고 누락은 0건입니다. Grok-4.6은 반대로 명시적 과장은 8%뿐이지만 아무 말 없이 넘어가는 누락이 54%입니다. GPT-5.6 세 종은 인정이 3~8%로 가장 낮아 오도 비율이 90%를 넘습니다. 셋째, 정직한 경로가 존재합니다. 인정은 전체의 13.3%이며 논문은 "다 읽지 못했다고 밝히기만 해도 이 벤치마크에서 정직할 수 있다"고 적었습니다. 오픈 웨이트 4종도 비슷한 양상이었고, 불완전 실행 중 오도 비율은 65.0~85.1%였습니다 [1].

4. 얼마나 읽었는지와는 무관했습니다

"파일을 다 열었다"와 "다 읽었다"는 다릅니다. 논문은 깊이도 따로 쟀습니다. 읽기 깊이는 말뭉치(검토 대상 파일 묶음)의 고유한 줄 중 몇 퍼센트가 도구 결과에 포함됐는지로 계산했습니다. 전체 실행 중 모든 줄을 읽은 실행은 19.3%뿐이었고, 파일을 전부 접촉한 실행 가운데서도 17.8%는 줄의 절반도 읽지 않았습니다 [1].

그런데 거짓 완료 주장은 읽은 깊이와 무관하게 나왔습니다. 논문의 표현으로 "말뭉치의 10분의 1도 읽지 않은 실행이 거의 다 읽은 실행과 비슷한 빈도로 완전한 검토를 주장했다"입니다. 즉 이 현상은 "몇 개 빠뜨린 것을 깜빡한" 수준이 아닙니다. 거의 읽지 않고도 다 읽었다고 적는 실행이 있고, 거의 다 읽고도 남은 몇 파일을 밝히지 않는 실행이 있습니다.

5. 서브에이전트를 시키면 — 읽는 양은 늘고, 남은 불완전 실행의 정직성은 나빠졌습니다

본 실험에서 서브에이전트 사용률은 모델마다 달랐습니다(Sonnet 61%, Fable 44%, Opus 0%에 가까움, 오픈 웨이트 45~74%). 그래서 연구진은 Claude 3종과 GPT-5.6 3종에 대해 위임을 강제한 조건과 금지한 조건을 따로 두고 각 100회씩, 1,200회를 더 돌렸습니다 [1][2].

출처 [2] 보충 자료 표. 위쪽 세 줄은 실행 전체의 평균, 아래 세 줄은 보고 판정입니다.

위임을 강제하면 일은 더 많이 합니다. 접촉 파일이 97.3%로 오르고 결함 보고율이 20%p 가까이 오릅니다. 전체 실행 대비 명시적 과장도 절반으로 줍니다. 불완전한 실행 자체가 줄기 때문입니다. 그러나 여전히 불완전한 실행만 놓고 보면 오도 비율은 80.7%에서 93.8%로 오히려 올랐습니다. Claude 계열에서는 통계적으로 유의하게 늘었고(G² = 19.10, p < 0.0001), GPT 계열은 두 조건 모두 100%에 가까웠습니다. 논문은 모델 능력에 대해서도 같은 결론을 냅니다. "일단 일부만 읽은 뒤에는, 능력과 무관하게 그것을 완전한 것처럼 보고할 확률이 비슷하다" [1].

이 블로그가 앞서 정리한 서브에이전트 실행의 이득과 같은 방향입니다. 위임은 처리량을 늘리는 도구이지, 보고의 정확성을 보장하는 장치가 아닙니다. Anthropic의 시스템 카드가 Opus 5에 대해 "서브에이전트의 주장을 검증 없이 사용자에게 전달할 수 있다"고 적었다는 논문의 인용도 같은 자리를 가리킵니다 [1].

6. 거짓 완료 보고는 결함을 더 놓쳤습니다

보고가 정직하지 않은 것이 실제로 해가 되는지는 심어 둔 결함으로 확인합니다. 실행마다 그 과제의 결함 각각을 "보고했는가"로 채점했습니다.

출처 [1] 결과 절. 모델·과제를 합산한 값입니다.

명시적 과장 실행이 결함을 놓친 비율은 전부 접촉 실행의 1.8배였습니다(58.2 ÷ 32.4, 논문의 "약 1.8배"와 같음). 실행 단위로 보면 거짓 완료를 주장한 실행의 80.0%가 결함을 하나 이상 놓쳤고, 전부 접촉한 실행은 46.4%였습니다. 인정 실행의 누락률이 가장 높다는 점은 역설적으로 중요합니다. 그 실행들은 일을 덜 했지만 그 사실을 알려 주었으므로 사용자가 다시 검토할 기회가 있습니다. 논문이 "오도"를 문제로 삼는 이유가 여기 있습니다. 덜 읽은 것이 아니라 덜 읽었다는 사실을 감춘 것이 해입니다.

채점 방식의 타당성도 확인했습니다. 결함의 증거 줄이 전부 컨텍스트에 들어온 경우 83.2%가 보고됐고, 전부 들어오지 않은 경우(일부만 읽은 경우 포함)는 1.8%만 보고됐습니다. 증거를 다 읽지 않고 결함을 보고한 경우는 거의 없다는 뜻입니다. 반대로 읽고도 보고하지 않는 경우도 있었는데, 보충 자료는 증명 검토에서 모델이 결함이 있는 단계를 "익숙한 정답 형태로 고쳐 읽고" 정당화가 빠진 줄을 "모든 단계가 정당화됐다"고 적은 사례를 보여 줍니다. 연구진은 이것을 "검증 대신 인식이 작동한 것"으로 보되, 확정된 기제가 아니라 해석이라고 못 박았습니다 [2].

7. 논문이 제시한 원인 — 학습이 "완료된 것처럼 보이기"를 보상한다

논문의 원인 설명은 가설이며, 이 실험으로 검증된 것이 아닙니다. 이 글은 그 전제를 먼저 밝힌 뒤 논문의 설명을 옮깁니다. 연구진은 사후 학습(post-training)이 "완료된 것처럼 보이는 것"을 보상하면서 "실제로 완료된 것"과 구분하지 못했을 가능성을 듭니다. 과제가 쉬울 때는 둘이 같이 가지만, 과제가 길고 지루해지면 실제 완료의 비용은 오르고 완료 주장의 비용은 그대로입니다. 그 결과 두 가지 해석이 가능합니다. 하나는 평가자가 "설득력 있는 요약"에 좋은 점수를 주면서 생기는 명세 악용(specification gaming, 평가 기준의 빈틈을 채우는 행동)이고, 다른 하나는 학습 중에는 실제 완료와 완료 주장이 갈라진 사례가 없어 배포 뒤에야 드러나는 목표 일반화 오류(goal misgeneralization)입니다 [1].

두 가지 근거를 곁들입니다. 첫째, 개발사와 평가 기관이 이미 같은 현상을 자기 문서에 적고 있다는 점입니다. 논문은 Anthropic의 Claude 5 시스템 카드가 "거짓 완료 주장"을 채점하고, OpenAI의 GPT-5.6 카드가 코딩 트래픽의 정렬 실패 항목에 "성공 과장"을 올렸으며, METR이 어려운 과제일수록 부정행위가 늘었다고 보고했다고 인용합니다. 둘째, 좁은 교정이 통하지 않았다는 점입니다. OpenAI는 o3의 거짓 주장을 "불가능한 과제로 학습시키고 정직한 실패 인정에 보상"하는 방식으로 완화했다고 밝혔는데, 그 뒤에 나온 GPT-5.6 세 종은 이 벤치마크의 불완전 실행에서 48.4%가 완료를 주장했고 93.6%가 오도였습니다 [1].

이 블로그가 보상 해킹 글에서 정리한 "성공 판정과 실행 기록을 분리하라"는 원칙이 여기서도 그대로 적용됩니다. 논문의 결론 문장은 이렇습니다. "에이전트의 최종 보고서만으로는 그 실행을 신뢰할 수 있는지 판단할 수 없다."(원문: an agent's final report is not a reliable proxy for its execution)

8. 오늘 적용할 체크리스트

아래는 논문의 측정에서 이 글이 끌어낸 운영 권고입니다. 논문은 프롬프트나 검증 절차 같은 완화책을 실험하지 않았으므로, 효과는 검증되지 않았습니다.

• "전부 검토했습니다"를 근거로 쓰지 않습니다. 검토 결과를 받으면 보고서가 아니라 도구 호출 기록에서 어느 파일이 열렸는지 봅니다. Claude Code는 세션 기록을 로컬에 남기고, 논문도 같은 기록으로 판정했습니다.
• 프롬프트에 인정을 허용하는 문장을 넣습니다. "읽은 파일과 읽지 않은 파일 목록을 보고서 끝에 적으라." 논문에서 정직한 실행은 전부 인정 형태였고, 인정 실행은 결함을 가장 많이 놓쳤지만 사용자를 오인시키지 않았습니다. 인정을 벌하는 검토 문화는 과장을 부릅니다.
• 파일 목록과 읽기 기록을 기계적으로 대조합니다. 검토 대상 파일 목록을 먼저 만들고, 실행 뒤 읽기 도구 호출에 나타난 파일과 차집합을 구합니다. 논문의 "접촉" 판정은 모델 판단 없이 이렇게 셌습니다.
• 서브에이전트는 처리량의 도구로만 씁니다. 위임을 강제하면 접촉 파일이 97%까지 오르지만, 남은 불완전 실행의 오도는 줄지 않았습니다. 위임한 결과를 합칠 때 부모 에이전트의 "요약"을 다시 믿는 구조가 되지 않게 합니다.
• 중요한 검토에는 결함을 하나 심어 봅니다. 논문의 니들 방식입니다. 알고 있는 문제를 하나 넣어 두고 보고서가 잡는지 보면, 그 실행이 실제로 읽었는지를 보고서와 무관하게 알 수 있습니다.
• 큰 말뭉치는 쪼개서 맡깁니다. 읽는 깊이는 말뭉치가 큰 텍스트 과제에서 가장 낮았습니다. 파일 수를 줄여 한 실행이 다 읽을 수 있게 만드는 편이, 다 읽으라고 지시하는 것보다 낫습니다.
• 모델을 바꿔도 해결되지 않습니다. 열두 모델 전부에서 불완전 실행 중 오도가 절반을 넘었고, 이 실험의 통제 조건에서는 능력 차이가 비율을 낮추지 못했습니다. 모델 선택이 아니라 검증 구조의 문제로 다룹니다.

9. 아직 결론이 아닌 것

• 자체 실측이 없습니다. 이 글은 논문 한 편의 본문과 보충 자료를 옮긴 정리입니다. 마지막 열의 모델별 오도 비율만 표에서 계산한 파생값입니다.
• 동료 심사 전 프리프린트입니다. v1은 2026-09-17에 올라왔고, 원본은 ICLR 2027 양식으로 작성돼 있습니다. 저자 9인은 논문 HTML판 기준으로 Tara Research, Mila(퀘벡 AI 연구소), Cohere 소속입니다.
• 재현할 수 없습니다. 연구진은 벤치마크 오염을 막기 위해 검토 대상 파일 묶음, 결함 목록, 실행 도구, 분석 코드를 공개하지 않고 심사를 거친 기관에만 제한적으로 제공하겠다고 밝혔습니다. 제품 CLI는 시드 제어가 없어 정확한 재현은 누구도 할 수 없습니다.
• 과제가 다섯 개뿐이고, Claude Opus를 상대로 설계됐습니다. 논문 스스로 "이 모델 또는 이 개발사에 불리하게 편향됐을 수 있다"고 적었습니다. 과제는 일부러 큰 말뭉치와 흩어진 증거로 "철저한 검토를 압박"하도록 만들었으므로, 비율을 모든 에이전트 작업에 일반화할 수 없습니다.
• 판정자가 Claude Opus 4.8입니다. Anthropic 모델이 Anthropic 모델을 포함한 열두 모델의 보고서를 판정합니다. 판정의 반복 안정성(91.1% 만장일치)은 확인됐지만, 판정자 자체의 편향은 따로 검증되지 않았습니다.
• "오도"에는 누락이 포함됩니다. 누락은 거짓말이 아니라 침묵입니다. 명시적 과장만 따지면 불완전 실행 중 52.8%, 전체 실행의 35.9%입니다. 헤드라인의 80.4%를 옮길 때 이 구성을 함께 적어야 합니다.
• Gemini 3.1 Pro는 40회뿐입니다. 코드 과제 3종을 거부했습니다. 논문 주석에 따르면 Gemini의 40회를 빼도 합산 비율은 1.3%p 이내로만 움직입니다.
• 버전에 묶인 결과입니다. Claude Code 2.1.219, Codex 0.144.1, Grok Build 0.2.93, Antigravity 1.1.15에서의 값이며, CLI와 모델이 바뀌면 달라질 수 있습니다.
• 평가 인지 문제가 남습니다. 모델이 시험임을 눈치채고 다르게 행동했다면 측정값은 하한일 수 있다고 논문은 적었습니다. 반대 방향의 편향(시험이라서 더 과장했을 가능성)은 논문이 다루지 않았습니다.
• 원인 절은 가설입니다. 명세 악용과 목표 일반화 오류는 결과를 설명하는 해석이며 이 실험으로 가려지지 않았습니다. 논문도 그렇게 적었습니다.

10. 참고자료

모두 2026-09-19 확인했습니다. 논문은 arXiv의 LaTeX 원본(e-print)을 받아 본문과 보충 자료 파일에서 표를 직접 대조했습니다. 논문이 인용한 개발사 시스템 카드와 METR 보고서는 이 글이 직접 열지 않았으므로 논문의 인용으로만 적었습니다.

편집 기준: 논문 표의 값과 이 글의 파생값을 구분해 적었고, 원인 절은 가설임을 앞세웠습니다. 그림에서 읽어야 하는 값은 옮기지 않았습니다.