AI 에이전트는 목표를 받아 스스로 도구를 골라 쓰고, 결과를 보고 다음 행동을 정하는 프로그램입니다. 한 번의 질문에 한 번 답하는 모델 호출과 다른 점은 여러 단계를 스스로 잇는다는 것이고, 문제도 대부분 그 이음매에서 생깁니다. 도구가 실패했을 때 무엇을 하는지, 자기가 한 일을 정직하게 보고하는지, 언제 멈출지 아는지 — 모델의 성능이 아니라 이 세 가지가 운영에서 결과를 가릅니다.
이 카테고리의 리포트는 그 이음매를 측정한 자료를 원문으로 읽고 정리합니다. 도구가 실패를 알리면 값을 지어내는 비율이 0%인데 "ok"에 값을 지운 채 돌려주면 45.3%까지 오른다는 측정, 코딩 에이전트 실행의 67.9%가 파일을 다 읽지 않고 그중 80.4%가 그 사실을 밝히지 않았다는 벤치마크, 멀티 에이전트 실행 기록 1,642건으로 만든 분류에서 1위가 "같은 단계 반복"이었다는 결과가 여기 있습니다.