OpenAI는 2026년, 자사가 만들고 자사가 쓰던 코딩 벤치마크를 더 이상 쓰지 않겠다고 선언했습니다. 내부 감사에서 감사 대상 138개 문제 가운데 59.4%에서 테스트 설계나 문제 설명의 결함이 나왔고, 거기에 학습 데이터 오염이 겹쳤기 때문입니다. 대안으로 흔히 쓰는 LLM 심판도 사정이 낫지 않습니다.
“어느 모델이 더 낫냐”를 판단하는 두 가지 도구가 동시에 흔들리고 있습니다. 공개 벤치마크는 오염되고, 그 대안으로 쓰는 LLM 심판은 일관되게 틀립니다. 남는 결론은 하나입니다 — 남의 점수를 믿지 말고 자기 과제로 재라.
SWE-bench Verified는 코딩 에이전트 성능을 재는 사실상의 표준이었습니다. 모델 발표 자료마다 이 점수가 실렸습니다. 그런데 2026년, OpenAI가 이 벤치마크로 더 이상 자사 모델을 평가하지 않겠다고 밝혔습니다.
계기는 점수가 너무 빨리 차오른 것이었습니다. 여섯 달 만에 74.9%에서 80.9%로 올랐습니다. 남은 20%가 정말 어려운 문제인지 확인하러 들어갔다가, 다른 것을 발견했습니다.
전체 500개 과제 중 138개(27.6%)를 감사했습니다. 무작위 표본이 아닙니다. OpenAI o3가 64회 독립 실행에서 일관되게 풀지 못한 과제들을 골랐습니다. 각 과제마다 최소 6명의 전문가가 독립적으로 검토했고, 지적된 사항은 재확인했습니다.
감사한 138개 중 59.4%에서 테스트 설계 또는 문제 설명에 중대한 결함이 발견됐습니다. 테스트만의 문제가 아니라 문제 설명 자체의 결함도 포함입니다.
| 결함 유형 | 비율 | 내용 |
|---|---|---|
| 지나치게 좁은 테스트 | 35.5% | 특정 구현 방식을 강제합니다. 다르게 짜면 정답이어도 실패 처리됩니다 |
| 지나치게 넓은 테스트 | 18.8% | 문제 설명에 없던 기능까지 요구합니다. 설명대로 풀면 틀립니다 |
| 기타 | 5.1% | — |
OpenAI는 두 가지 문제를 각각 제시했습니다. 하나로 뭉뚱그리면 안 됩니다.
위 59.4%입니다. 테스트가 기능적으로 올바른 제출을 거부하거나, 문제 설명 자체가 테스트와 어긋납니다.
공개 저장소에서 문제를 뽑았으므로, 문제·저장소·릴리스 노트·해결책이 학습 데이터에 들어갔을 수 있습니다.
두 번째를 확인하려고 GPT-5.2-Chat, Claude Opus 4.5, Gemini 3 Flash Preview를 과제당 최대 15턴까지 캐물었습니다. 시험한 프런티어 모델 전부가 정답 패치를 그대로 재현하거나 과제 고유의 세부 정보를 그대로 뱉었습니다. Gemini는 과제 ID만 주었는데도 정답 패치의 세부를 재현했습니다.
대안으로는 SWE-bench Pro의 공개 분할을 쓰겠다고 했고, 동시에 외부에 공개하지 않은 자체 평가를 만들고 있다고 밝혔습니다. 공개된 것은 결국 오염된다는 판단입니다.
벤치마크 오염(contamination)은 모델이 시험 문제를 미리 본 상태를 말합니다. 오염 경로는 두 가지이며, 이 가운데 최근에 등장한 검색 시점 오염이 에이전트 시대에 새롭게 불거진 문제입니다.
벤치마크 문제와 정답이 학습 데이터에 섞여 들어간 경우입니다. 앞 절 SWE-bench의 두 번째 문제가 이것입니다. 오래 알려진 위험입니다.
학습 때가 아니라 푸는 도중에 웹 검색으로 답을 찾아오는 경우입니다. 웹을 뒤지는 리서치 에이전트가 등장하면서 생긴 새 경로입니다.
2026년 6월 공개된 프리프린트가 이걸 Search-Time Contamination(STC)으로 정의하고 측정했습니다. 에이전트가 추론으로 풀어야 할 문제를, 검색으로 우회해 버리는 상황입니다.
| 유형 | 무엇을 찾아오나 | 심각도 |
|---|---|---|
| 벤치마크 메타데이터 유출 | 이 문제가 어떤 벤치마크의 몇 번 문항인지 | 낮음 |
| 문제 맥락 유출 | 문제의 배경과 조건이 담긴 원 페이지 | 중간 |
| 정답 직접 유출 | 정답 그 자체 | 높음 |
측정 결과 검색 시점 오염은 널리 나타났고, 평가 점수를 최대 4%포인트까지 높였습니다.
논문이 권하는 대응은 격리된 샌드박스, 검색 경로 공개, 벤치마크 접근 통제입니다. 평가자는 이 세 가지를 적용해야 하고, 점수를 해석하는 사람은 평가 과정에 각 조치가 적용됐는지 확인해야 합니다.
공개 벤치마크를 못 믿겠으니 LLM에게 채점을 맡기는 방식이 표준이 됐습니다. 자유 서술 답변이나 에이전트 실행 기록처럼 정답이 딱 떨어지지 않는 것을 재려면 달리 방법이 없기도 합니다.
2026년 6월 공개된 프리프린트가 이 방식을 대규모로 검증했습니다. 9개 제공사의 LLM 심판 21종을 118회 실행해 약 54만 1천 건의 개별 판정을 분석했습니다.
카파 계수는 두 평가 결과가 우연히 일치할 가능성을 보정한 뒤 실제 일치 정도를 나타내는 지표입니다. 심판을 검증할 때 흔히 쓰는 단순 일치율은 이 보정을 하지 않습니다. 이지선다 문제를 찍어도 절반은 맞는 것처럼요.
논문 제목이 Reliability without Validity입니다. 두 용어를 먼저 풀겠습니다.
재검사 신뢰도로 잽니다. 1에 가까울수록 일관성이 높습니다.
일관성이 높다고 타당성이 따라오지는 않습니다. 일관되게 틀릴 수 있습니다.
논문이 든 사례는 두 모델입니다. 전체 심판의 경향이 아니라 이 역설을 보여주는 예시입니다.
| 심판 모델 | 재검사 신뢰도 | 위치 편향 |
|---|---|---|
| Qwen 3 8B | 0.992 | 0.192 |
| Gemini 2.5 Flash | 0.988 | 0.125 |
여기서 위치 편향은 이 논문에서 |P(A가 이길 확률) − 0.5|로 정의합니다. 즉 앞자리에 놓인 답변을 얼마나 선호하는지를 나타내는 값이고, 0이면 순서의 영향이 없다는 뜻입니다. 순서를 바꿨을 때 판정이 실제로 뒤집히는 비율은 위치 뒤집힘 비율이라는 별도 지표로 따로 잽니다. 두 지표를 섞어 쓰면 안 됩니다.
같은 심판들의 순위가 벤치마크에 따라 크게 이동했습니다. 다만 논문 안에서 수치가 엇갈립니다. 초록은 “최대 14자리”라고 적었는데, 본문은 Llama 3.3 70B가 MT-Bench 5위에서 JudgeBench 20위로 15자리 이동했다고 씁니다. 어느 쪽이든 요점은 같습니다 — 심판의 우열은 어떤 벤치마크에서 쟀느냐에 크게 좌우됩니다.
실무에서 자주 걱정하는 장황함 편향(긴 답변을 좋게 보는 경향)은 이 연구에서 0.011 미만으로 작게 나왔습니다. 측정 방식은 답변 길이 차이와 판정 사이의 피어슨 상관이고, MT-Bench의 단일 쌍대 비교 기준에 한정된 결과입니다.
RAND가 공개한 Judge Reliability Harness는 LLM 심판을 일부러 흔들어 보는 오픈소스 도구입니다. 벤치마크 데이터셋과 심판 설정을 주면 신뢰도 시험을 자동으로 만들어 줍니다. 이 논문은 ICLR 2026 워크숍에 채택됐습니다.
안전성·설득·오용·에이전트 행동을 다루는 벤치마크 4종에서 최신 심판 4종을 시험한 결과, 모든 벤치마크에서 고르게 신뢰할 만한 심판은 하나도 없었습니다.
무너뜨린 조작은 대단한 게 아니었습니다.
내용은 그대로 두고 텍스트 서식만 손댔습니다.
의미가 같은 다른 표현으로 바꿨습니다.
같은 내용을 더 길게 또는 더 짧게 썼습니다.
주제와 구조는 그대로 두고, 응답 내용을 채점 기준에 어긋나도록 다시 썼습니다. 라벨만 바꾼 게 아니라 답 자체를 틀리게 만든 뒤, 심판이 알아보는지 봤습니다.
앞 절들에서 확인한 것을 실무 선택으로 옮기면 이렇게 됩니다. 표의 오른쪽 열이 근거이고, 근거 칸이 비어 있으면 제 판단입니다.
| 대신할 것 | 이유 | 근거 |
|---|---|---|
| 공개 벤치마크 순위 대신 내 업무 사례로 만든 평가셋 |
공개 문제는 학습 시점에 새어 들어갑니다. OpenAI도 대안으로 비공개 자체 평가를 만들고 있다고 밝혔습니다 | SWE-bench 은퇴 |
| 단순 일치율 대신 우연 보정 지표(카파) |
일치율은 우연히 맞은 것을 빼지 않아 변별력을 부풀립니다. 격차가 33~41%p였습니다 | Reliability without Validity |
| 심판 점수 하나 대신 흔들어 본 뒤의 점수 |
서식·표현·길이만 바꿔도 판정이 갈립니다. 흔들어 보지 않으면 그걸 모릅니다 | Judge Reliability Harness |
| 정답률 대신 업무 완료 여부와 비용 |
에이전트는 답을 맞히는 게 아니라 일을 끝내는 도구입니다. 재는 대상이 달라야 합니다 | — |
규모가 작은 팀에서 할 수 있는 최소 구성입니다. 완벽한 평가 체계를 만드는 이야기가 아니라, 없는 것보다 나은 것을 빠르게 갖추는 이야기입니다.
이 블로그의 컨텍스트 편에서는 두 조건으로 나눠 결과를 직접 비교해 보라고 여러 번 썼습니다. 그 “재기”의 최소 형태가 위 다섯 단계입니다.
| 자료 | 내용 | 링크 |
|---|---|---|
| OpenAI — Why we no longer evaluate SWE-bench Verified 1차 자료. 직접 열지 못해 인용문으로 확인 |
감사 138/500, 결함 59.4%와 유형별 내역, 학습 오염, 대안(SWE-bench Pro·비공개 자체 평가) | openai.com |
| Reliability without Validity (2026-06-17) Justin D. Norman · Michael U. Rivera · D. Alex Hughes. 프리프린트 |
심판 21종 · 판정 54만 1천 건. 카파 격차 33~41%포인트, 순위 이동, 재검사 신뢰도와 위치 편향의 대비 | arxiv.org/abs/2606.19544 |
| Judge Reliability Harness RAND. ICLR 2026 워크숍 채택 + 오픈소스 도구 |
LLM 심판 4종 × 벤치마크 4종. 서식·표현·길이를 바꾸거나 답을 오답으로 다시 썼을 때의 붕괴 | arxiv.org/abs/2603.05399 |
| Search-Time Contamination (2026-06-03) Yongjie Wang 외. 프리프린트. 의료 QA 한정 |
검색 시점 오염 3유형 정의, 의료 QA 벤치마크 6종에서 최대 4%포인트 부풀림 | arxiv.org/abs/2606.05241 |
이 문서는 2026-09-07 기준 공개 자료를 정리한 기술 요약입니다. 인용한 논문 중 둘은 프리프린트이므로, 중요한 결정에 쓰시기 전에 최신 버전과 재현 결과를 확인하세요.