에이전트 메모리 벤치마크 DolphinBench, 과제를 푸는 에이전트 비용은 총비용의 13.1% 이하였습니다 — 실행 기록 13개를 열어 본 결과
논문 표에 없는 비용 구조와, Claude Code 자동 메모리가 남긴 파일
목차
DolphinBench는 에이전트 메모리를 질의응답 정확도가 아니라 작업 수행 결과로 평가하는 벤치마크로, 2026-09-21 arXiv에 공개됐습니다. 논문은 정확도·총비용·응답 시간을 한 표에 실었고, 저장소에는 13개 구성의 실행 기록이 모두 올라와 있습니다. 실행 기록에서 페르소나별 테스트 비용을 더해 보면, 13개 구성 모두에서 과제를 푸는 에이전트의 비용은 총비용의 13.1% 이하였습니다. 내장 메모리 구성에서는 나머지가 전부 과거 대화를 메모리에 주입하는 단계의 에이전트 비용이었습니다. 이 벤치마크는 메모리 서비스를 판매하는 Mem0가 만들었다는 점도 함께 읽어야 합니다.
핵심 요약
600개 과제 중 424개 통과, 논문 Table 2
13개 구성 실행 기록에서 직접 계산한 파생값
MEMORY.md)에 링크가 없는 비율페르소나 3개, 공개 실행 기록에서 직접 집계
2. 무엇을 재는 벤치마크인가
에이전트 메모리는 대화가 끝난 뒤에도 사용자에 대한 사실·선호·결정을 남겨 두었다가 다음 작업에서 꺼내 쓰는 장치입니다. 모델이 한 번에 받을 수 있는 입력에는 한도(컨텍스트 윈도우)가 있으므로, 몇 달·몇 년 치 대화를 매번 통째로 넣는 대신 필요한 것만 저장하고 찾아 쓰려는 것입니다. Mem0·Honcho·Hindsight·Supermemory 같은 별도 메모리 시스템이 있고, Claude Code의 자동 메모리처럼 에이전트 도구에 내장된 방식도 있습니다.
기존 메모리 벤치마크(LoCoMo, LongMemEval 등)는 대부분 모델에 긴 대화를 입력한 뒤 질문을 던지고 답을 채점합니다. DolphinBench 논문은 이 형식에 문제가 있다고 봅니다. "팀이 쓰는 메신저가 무엇인가요?"라고 물으면 그 질문 자체가 "메신저에 관한 사실을 찾아라"라는 신호가 됩니다. 실제 업무에서는 "팀 채널에 업데이트를 올려 줘"라는 요청만 오고, 무엇을 기억해 내야 하는지는 에이전트가 스스로 알아차려야 합니다.
구성
| 항목 | 내용 |
|---|---|
| 페르소나 | 스타트업 CEO(Morgan), 인프라 엔지니어(Alex), 프로덕트 매니저(Riley) 세 명 |
| 대화 기록 | 페르소나당 사용자 메시지 3,400~5,128개, 약 50만 토큰(o200k_base 토크나이저로 사용자 메시지만 센 값). 몇 년에 걸친 업무·개인 생활 대화를 LLM으로 생성 |
| 과제 | 페르소나당 200개, 모두 600개. 메일·캘린더·Slack·Discord·CRM 등을 가상으로 구현한 앱에서 도구를 호출해 일을 처리해야 함 |
| 채점 | 도구 호출을 검사. 정답 값이 명확한 항목은 규칙 기반 검사로 채점하고, 의미 해석이 필요한 항목은 LLM(GPT-5.6-Sol)이 판정합니다. 과제 안의 검사를 모두 통과해야 통과 |
| 보고 지표 | 정확도, 총비용(대화 기록 주입 + 테스트), 과제별 응답 시간의 중앙값. 셋 다 보고해야 유효한 제출 |
예시 과제 — 1월에 한 번 말한 카페
논문의 예시입니다. Morgan은 1월 대화에서 "아침 일찍 나가면 여전히 Blue Bottle"이라고 지나가듯 말합니다. 몇 달 뒤 과제 요청은 "일찍 나왔어. 작은 라테 한 잔 픽업 주문해 줘"입니다. 음료·크기·픽업 방식은 적혀 있지만 가게는 없습니다. 에이전트가 place_order를 호출해 주문이 성공해야 하고(규칙 기반 검사), 그 가게가 Blue Bottle이어야 합니다(LLM 판정).
과제를 검증하는 방식
이 벤치마크에서 가장 공들인 부분입니다. 각 과제를 GPT-5.6-Luna로 네 번 실행합니다. 정답에 필요한 원래 대화(논문 용어로 oracle 메시지)를 제공한 두 번의 실행은 모두 통과해야 하고, 제공하지 않은 두 번의 실행은 모두 실패해야 과제로 채택됩니다. 기억이 있어야 해결할 수 있고 기억이 없으면 해결할 수 없는 과제만 남기는 절차입니다. 논문은 이 절차를 둔 이유로 기존 벤치마크의 정답 오류를 듭니다. 논문이 인용한 Penfield Labs의 LoCoMo 감사는 적대적 질문을 뺀 1,540문항 중 99개(6.4%)의 정답이 틀렸다고 보고했습니다(논문이 인용한 2차 자료입니다).
3. 결과표 — 13개 구성
여기서 하네스(harness)는 모델을 감싸 도구 호출·대화 진행을 맡는 에이전트 실행 환경을 말합니다. 논문은 하네스 두 종(Nous Research의 Hermes Agent, Anthropic의 Claude Code)과 모델 세 종을 조합해 세 그룹을 만들고, 각 그룹에 메모리 시스템을 바꿔 끼웠습니다. 아래 값은 논문 Table 2(v2)이며, 저장소 results/README.md의 통과 개수와 모두 일치합니다.
| 하네스 · 모델 | 메모리 | 정확도 | 통과/600 | 총비용 | 응답 시간 중앙값 |
|---|---|---|---|---|---|
| Hermes · GPT-5.6-Luna | 내장 메모리 | 65.67% | 394 | $61.48 | 44.35초 |
| Hermes · GPT-5.6-Luna | Mem0 | 70.67% | 424 | $96.21 | 37.69초 |
| Hermes · GPT-5.6-Luna | Honcho | 68.50% | 411 | $142.85 | 44.66초 |
| Hermes · GPT-5.6-Luna | Hindsight | 69.50% | 417 | $84.65 | 55.31초 |
| Hermes · GPT-5.6-Luna | Supermemory | 59.17% | 355 | $345.64 | 52.68초 |
| Hermes · MiniMax M3 | 내장 메모리 | 26.50% | 159 | $107.03 | 51.40초 |
| Hermes · MiniMax M3 | Mem0 | 47.83% | 287 | $148.02 | 46.95초 |
| Hermes · MiniMax M3 | Honcho | 47.33% | 284 | $211.85 | 80.33초 |
| Hermes · MiniMax M3 | Hindsight | 41.00% | 246 | $158.33 | 144.28초 |
| Hermes · MiniMax M3 | Supermemory | 20.00% | 120 | $497.70 | 137.52초 |
| Claude Code · Claude Sonnet 5 | 내장 메모리(자동 메모리) | 26.33% | 158 | $1,132.75 | 32.19초 |
| Claude Code · Claude Sonnet 5 | Mem0 | 32.33% | 194 | $1,830.57 | 42.30초 |
| Claude Code · Claude Sonnet 5 | Honcho | 35.83% | 215 | $1,565.82 | 37.92초 |
굵은 글씨는 그룹 안에서 정확도가 가장 높은 구성입니다. Claude Code 그룹에는 Hindsight와 Supermemory 실행이 없습니다.
논문이 직접 말하는 것
- 메모리 시스템 순위는 조합마다 다릅니다. Hermes 두 그룹에서는 Mem0가, Claude Code 그룹에서는 Honcho가 가장 높았습니다.
- 정확도가 높다고 느려지지는 않았습니다. Hermes + GPT-5.6-Luna에서 Mem0는 내장 메모리보다 정확도가 5%p 높고 응답 시간 중앙값은 44.35초에서 37.69초로 줄었습니다. 대신 총비용은 $61.48에서 $96.21로 올랐습니다.
- 싸고 정확한 쪽이 느릴 수 있습니다. 같은 그룹에서 Hindsight는 Honcho보다 싸고($84.65 대 $142.85) 정확도는 1%p 높지만, 응답 시간 중앙값은 55.31초로 Honcho의 44.66초보다 깁니다.
configuration.json을 보면 Hermes 그룹은 추론 강도 high, 최대 60턴, 컨텍스트 길이 약 105만 토큰으로 설정됐고 GPT-5.6-Luna는 Azure Foundry, MiniMax M3는 OpenRouter를 거쳤습니다. Claude Code 그룹은 추론 강도 medium입니다. 대화 기록을 넣는 방식도 하네스마다 다릅니다(5장). 논문도 굵은 글씨를 "그룹 안에서" 가장 좋은 값에만 붙였습니다. "Claude Code가 Hermes보다 메모리를 못 쓴다"는 이 표로 말할 수 없습니다.
4. 비용은 어느 단계에서 나왔나
논문의 총비용은 두 단계를 합친 값입니다. 첫째는 주입(ingestion)으로, 페르소나의 대화 기록 수천 개를 순서대로 에이전트와 메모리 시스템에 전달해 메모리를 쌓는 단계입니다. 둘째는 쌓인 메모리로 600개 과제를 푸는 테스트 단계입니다. 논문 표는 이 둘을 나누지 않습니다.
저장소의 실행별 cost.json은 비용을 에이전트 모델 비용(agent_usd)과 메모리 시스템 비용(memory_usd)으로 나누고, 실행별 README.md에는 페르소나별 "Test agent cost"(테스트 단계의 에이전트 모델 비용)가 따로 적혀 있습니다. 에이전트 모델 비용에서 테스트 단계 값을 빼면 주입 단계의 에이전트 비용이 남습니다. 메모리 시스템 비용은 단계별로 나뉘어 있지 않아, 주입 때 쓴 것인지 테스트 중 조회에 쓴 것인지 구분할 수 없습니다. 그래서 아래 표의 마지막 열은 주입 단계 비중의 하한입니다. 메모리 시스템 비용이 $0인 내장 메모리 구성에서만 이 값이 정확한 비중입니다.
| 하네스 · 모델 · 메모리 | 총비용 | 테스트 단계 에이전트 | 주입 단계 에이전트 | 메모리 시스템(단계 구분 없음) | 테스트 단계 에이전트 비중 | 주입 단계 에이전트 비중(하한) |
|---|---|---|---|---|---|---|
| Hermes · Luna · 내장 | $61.48 | $8.05 | $53.43 | $0.00 | 13.1% | 86.9% |
| Hermes · Luna · Mem0 | $96.21 | $3.23 | $58.31 | $34.67 | 3.4% | 60.6% |
| Hermes · Luna · Honcho | $142.85 | $4.94 | $91.62 | $46.29 | 3.5% | 64.1% |
| Hermes · Luna · Hindsight | $84.65 | $3.84 | $54.15 | $26.66 | 4.5% | 64.0% |
| Hermes · Luna · Supermemory | $345.64 | $7.38 | $56.48 | $281.78 | 2.1% | 16.3% |
| Hermes · MiniMax · 내장 | $107.03 | $9.16 | $97.87 | $0.00 | 8.6% | 91.4% |
| Hermes · MiniMax · Mem0 | $148.02 | $5.02 | $106.69 | $36.31 | 3.4% | 72.1% |
| Hermes · MiniMax · Honcho | $211.85 | $7.04 | $161.35 | $43.46 | 3.3% | 76.2% |
| Hermes · MiniMax · Hindsight | $158.33 | $9.97 | $109.54 | $38.82 | 6.3% | 69.2% |
| Hermes · MiniMax · Supermemory | $497.70 | $6.62 | $105.06 | $386.02 | 1.3% | 21.1% |
| Claude Code · Sonnet 5 · 내장 | $1,132.75 | $87.89 | $1,044.86 | $0.00 | 7.8% | 92.2% |
| Claude Code · Sonnet 5 · Mem0 | $1,830.57 | $107.41 | $1,696.22 | $26.94 | 5.9% | 92.7% |
| Claude Code · Sonnet 5 · Honcho | $1,565.82 | $95.78 | $1,460.24 | $9.80 | 6.1% | 93.3% |
"테스트 단계 에이전트"는 각 실행 폴더 README.md의 페르소나별 Test agent cost를 더한 값입니다. "주입 단계 에이전트"(= agent_usd − 테스트 단계 에이전트)와 두 비중 열은 이 글에서 계산한 파생값입니다. 저장소 기준일 2026-10-04.
이 표에서 읽을 수 있는 것
- 과제를 푸는 에이전트 비용은 작습니다. 13개 구성 모두 총비용의 13.1% 이하였습니다. 600개 과제를 푸는 데 든 에이전트 비용은 Hermes 그룹에서 $3.23~$9.97, Claude Code 그룹에서 $87.89~$107.41였고, 과제 하나당으로 나누면 Hermes + Luna + 내장 메모리가 약 $0.013, Claude Code + 내장 메모리가 약 $0.146입니다.
- 내장 메모리 구성에서는 비용의 87~92%가 주입 단계에서 나왔습니다. 세 구성 모두 메모리 시스템 비용이 없으므로 이 비중은 하한이 아니라 정확한 값입니다.
- 외부 메모리 시스템을 붙인 구성은 주입 단계의 에이전트 비용만으로 약 61~93%였습니다(Supermemory 두 구성 제외). 메모리 시스템 비용까지 주입 단계에 속한다면 비중은 더 올라가지만, 실행 기록으로는 확인할 수 없습니다.
- Supermemory 구성은 메모리 시스템 비용이 총비용의 대부분입니다($281.78, $386.02). 이 비용이 어느 단계에서 나왔는지 구분되지 않아, 주입 단계 비중의 하한은 16.3%와 21.1%에 그칩니다. 테스트 단계 에이전트 비용은 다른 구성과 비슷했습니다.
- 외부 메모리를 붙인 구성이 테스트 단계 에이전트 비용은 더 낮았습니다. Hermes + Luna에서 내장 메모리 $8.05, Mem0 $3.23, Hindsight $3.84였습니다. 실행 기록만으로는 이유를 확정할 수 없습니다. 메모리 시스템이 골라 준 내용만 읽기 때문일 수 있지만, 이것은 추정입니다.
비용은 실제 청구액이 아니라 계산값입니다. 저장소의 harness/costing.py는 공급자가 보고한 토큰 사용량(입력, 캐시 쓰기, 캐시 읽기, 출력)에 가격표 스냅숏(pricing/latest.json, LiteLLM·OpenRouter 가격을 2026-06-10에 모은 것)의 단가를 곱합니다. 같은 사용량이라도 계약 단가나 구독 요금제에 따라 실제 지출은 달라집니다.
5. Claude Code 자동 메모리가 남긴 것
Claude Code의 자동 메모리(auto memory)는 작업 중에 Claude가 스스로 판단해 사용자·프로젝트에 관한 메모를 파일로 남기는 기능입니다. 공식 문서에 따르면 로컬 세션에서는 기본으로 켜져 있고, 프로젝트별로 ~/.claude/projects/<project>/memory/에 저장됩니다. 이 폴더에는 색인 파일 MEMORY.md와 메모 하나당 파일 하나(주제 파일)가 들어갑니다.
- 공식 문서는
MEMORY.md를 "메모 하나당 한 줄"로 구성된 색인이라고 설명하며, 세션이 시작될 때 앞 200줄 또는 25KB 중 먼저 도달하는 한도까지만 읽힙니다 - 주제 파일은 시작할 때 읽지 않고, Claude가 필요하다고 판단할 때 일반 파일 도구로 찾아 읽습니다
DolphinBench의 Claude Code 내장 메모리 구성은 바로 이 기능을 썼습니다. 저장소 코드(reference/runtimes/claude_code.py)는 Claude Code 2.1.259와 Claude Sonnet 5를 요구하고, autoMemoryDirectory 설정으로 메모리 폴더를 격리합니다.
대화 기록을 넣은 방식
저장소의 드라이버(harness/claude_driver.py)는 대화 기록의 사용자 메시지 하나마다 claude --print를 한 번씩, 매번 새 세션 ID로 실행합니다. 메시지 앞에는 원래 시각이 [타임스탬프] 형태로 붙습니다. 메시지 사이에 이어지는 것은 메모리 폴더뿐입니다. 공개된 주입 기록의 집계는 다음과 같습니다.
| 페르소나 | 처리한 메시지 | 캐시 쓰기 토큰 | 캐시 읽기 토큰 | 출력 토큰 | 처리 시간 합계 |
|---|---|---|---|---|---|
| Morgan | 3,400 | 3,950만 | 1억 2,800만 | 510만 | 18.5시간 |
| Alex | 5,011 | 6,200만 | 2억 4,410만 | 990만 | 32.6시간 |
| Riley | 5,128 | 6,220만 | 2억 6,510만 | 980만 | 31.9시간 |
results/claude-code/claude-sonnet-5/builtin/<persona>/ingestion.json의 메시지별 token_usage와 elapsed_seconds를 이 글에서 합산한 값입니다. 메시지 하나당 실행 시간의 합이므로 병렬 실행 여부에 따라 실제 걸린 시간과는 다를 수 있습니다.
새 세션마다 Claude Code는 시스템 프롬프트와 도구 정의, 그리고 그 시점의 MEMORY.md를 다시 받습니다. 사용자 메시지 50만 토큰을 넣는 데 페르소나마다 캐시 읽기만 1억~2억 6천만 토큰이 든 것은 이 구조 때문으로 보입니다. Claude Code의 주입 단계 비용(내장 메모리 기준 $1,044.86)이 Hermes 내장 메모리 구성($53.43, $97.87)의 약 10~20배인 것도 같은 맥락에서 읽을 수 있지만, 두 하네스는 모델과 설정이 달라 원인을 하나로 단정할 수 없습니다.
남은 메모리 파일
주입이 끝난 시점의 메모리 폴더 내용도 실행 기록(memory_at_end)에 들어 있습니다. 주제 파일 이름이 MEMORY.md의 링크로 나오는지 대조했습니다.
| 페르소나 | 주제 파일 | MEMORY.md | 색인에 링크가 없는 파일 | 과제 통과 |
|---|---|---|---|---|
| Morgan | 346개 | 139줄 · 19,632바이트 | 208개 (60%) | 69/200 |
| Alex | 669개 | 91줄 · 17,336바이트 | 494개 (74%) | 47/200 |
| Riley | 697개 | 130줄 · 18,466바이트 | 551개 (79%) | 42/200 |
MEMORY.md는 세 페르소나 모두 200줄·25KB 한도 안에 있어서 색인 자체는 잘리지 않고 읽혔을 것입니다. 그러나 주제 파일의 60~79%는 색인에 링크가 없었습니다. 그런 파일은 세션을 시작할 때 목록으로 보이지 않으므로, Claude가 폴더를 직접 검색하거나 다른 주제 파일의 링크를 따라가야 찾을 수 있습니다. Alex의 경우 색인에 없는 494개 중 174개는 다른 주제 파일 안에서 파일 이름이 언급됐습니다.
논문의 예시 과제(Blue Bottle 라테)도 확인했습니다. Morgan의 주제 파일 346개 중 "Blue Bottle"이 나오는 파일은 투자자 소개 일정을 다룬 project_scaffold_investor_intros.md 하나였고, 내용은 "3월 중순 Elena와 Blue Bottle에서 30분 커피 약속"이었습니다. 아침 커피 선호로 기록된 파일은 없었습니다. 이 과제에서 Claude Code는 "기억에 기본 카페가 없다"며 어느 가게로 주문할지 되물었고, 실패로 채점됐습니다.
medium, 모델 차이가 모두 함께 작용했을 수 있습니다. 실행에 쓴 2.1.259 이후에도 자동 메모리 관련 수정이 2.1.268·2.1.283·2.1.284에 들어갔지만, 공식 변경 기록에서 색인을 작성하는 방식 자체를 바꾼 항목은 확인하지 못했습니다. 색인이 한도에 가까워지면 Claude에게 줄이라고 알리는 동작은 2.1.186부터 있었으므로 이번 실행에도 적용됐습니다.
6. 누가 만든 벤치마크인가
논문 저자 세 명(Soumil Rathi, Deshraj Yadav, Taranjeet Singh)의 소속은 모두 Mem0이고, 연락처도 dolphinbench@mem0.ai입니다. Yadav와 Singh는 2025년 Mem0 논문(arXiv 2504.19413)의 저자이기도 합니다. 저장소도 mem0ai 조직 아래 있습니다. 즉 평가 대상 중 하나를 만든 회사가 벤치마크를 설계하고 실행했습니다.
그렇다고 결과가 틀렸다는 뜻은 아닙니다. 실행 설정·비용 계산·전체 실행 기록이 공개돼 있어 제3자가 다시 확인할 수 있고, Claude Code 그룹에서는 Mem0가 1위가 아니라는 결과도 그대로 실었습니다. 다만 읽을 때 다음을 함께 봐야 합니다.
- 1위와 2위의 차이가 작습니다. GPT-5.6-Luna 그룹에서 Mem0(424개)와 Hindsight(417개)는 600개 중 7개, MiniMax M3 그룹에서 Mem0(287개)와 Honcho(284개)는 3개 차이입니다. 과제 6개가 1%p입니다.
- 각 구성은 한 번씩 실행됐습니다. 논문은 반복 실행 결과나 신뢰구간을 보고하지 않습니다. 같은 구성을 다시 돌렸을 때 몇 개가 달라지는지 알 수 없으므로, 3~7개 차이로 순위를 확정하기는 어렵습니다.
- 다른 메모리 시스템의 설정은 Mem0 연구진이 정했습니다. 저장소의 평가 문서는 Hermes용 Supermemory에 호환 패치를 적용한 자체 호스팅 구성이 있으며 이를 수정하지 않은 상용 서비스와 구분해야 한다고 적고 있고, Hindsight는 평가 환경과 서비스 도구의 클라이언트 버전(0.6.1, 0.9.2)이 달랐다고 밝힙니다. 각 제품의 개발사가 직접 맞춘 설정이었다면 결과가 달랐을 수 있습니다.
7. 체크리스트
| 할 일 | 왜 |
|---|---|
| 메모리 시스템을 비교할 때 주입 비용과 조회 비용을 나눠서 받으세요 | DolphinBench 13개 구성 모두 과제를 푸는 에이전트 비용은 총비용의 13.1% 이하였습니다. 한 번 질문하는 비용만 비교하면 실제 지출을 크게 낮춰 보게 됩니다 |
| 자기 대화량으로 월 주입 비용을 대략 추정해 보세요 | 운영 중에는 새 대화마다 주입이 계속 일어납니다. 하루 대화 수 × 메시지당 주입 비용은 벤치마크 결과가 아니라 어림셈이지만, 규모를 가늠하는 데는 쓸 수 있습니다 |
| 평가 과제는 질문이 아니라 요청으로 만드세요 | "우리 팀 메신저가 뭐야?"보다 "팀 채널에 공지 올려 줘"가 실제 쓰임에 가깝습니다. 자기 업무 기록에서 5~10개만 뽑아도 됩니다 |
| 평가 과제를 기억이 있을 때와 없을 때 각각 실행해 보세요 | 기억 없이도 해결할 수 있는 과제는 메모리 성능을 측정하지 못합니다. DolphinBench는 모든 과제를 기억이 있을 때 두 번, 없을 때 두 번 실행해 걸렀습니다 |
| 메모리 시스템은 같은 하네스·같은 모델에서 비교하세요 | 이 벤치마크에서도 Mem0와 Honcho의 순위가 하네스에 따라 뒤집혔습니다 |
| Claude Code 자동 메모리를 쓴다면 색인과 파일 수를 대조해 보세요 | ls ~/.claude/projects/<project>/memory/*.md | wc -l로 파일 수를, grep -c '](.*\.md)' MEMORY.md로 색인 링크 수를 셉니다. 차이가 크면 Claude에게 색인 정리를 요청하거나, /memory로 메모리 폴더를 열어 직접 고칠 수 있습니다 |
| 벤치마크 순위를 인용할 때 저자 소속과 반복 실행 여부를 함께 적으세요 | Hermes 두 그룹처럼 1위와 2위가 600개 중 3~7개 차이인 단일 실행 결과는 순위보다 범위로 읽는 편이 맞습니다 |
8. 아직 결론이 아닌 것
- 합성 데이터입니다. 대화 기록은 LLM이 생성했고 실제 사용자 대화가 아닙니다. 논문은 실제 대화의 문체·언어·상호작용 패턴을 담지 못할 수 있고, 사실 대조와 과제 검증 뒤에도 불일치가 남아 있을 수 있다고 밝힙니다. 논문과 웹사이트에 실린 대화 예시는 모두 영어여서, 한국어 대화에서도 같은 결과가 나올지는 알 수 없습니다.
- 범위가 좁습니다. 페르소나는 지식 노동자 세 명이고, 법률·의료·장기 고객 지원 같은 분야는 없습니다. 과제 하나는 따로 채점되는 행동 1~4개로 이루어져 있어 긴 작업 흐름은 다루지 않습니다.
- 가상 앱입니다. 서비스 장애나 작업 중 다른 사용자가 바꾸는 상황은 재현하지 않습니다.
- 주입과 테스트가 분리돼 있습니다. 대화 기록을 모두 넣은 뒤에 과제를 풀기 때문에, 대화와 작업이 섞여 들어오는 실제 사용 방식과는 다릅니다. 논문도 한계로 적었습니다.
- 전체 기록을 그대로 넣는 기준선이 없습니다. 페르소나당 사용자 메시지는 약 50만 토큰이고, Hermes 설정의 컨텍스트 길이는 약 105만 토큰입니다. 기록 전체를 컨텍스트에 넣는 방식과의 비교는 표에 없고, 논문은 "컨텍스트 윈도우를 넘는 기록"을 향후 과제로 남겼습니다.
- 비용 분해는 이 글의 계산입니다. 메모리 시스템 비용은 저장소 자료에서 주입과 테스트로 나뉘어 있지 않아, 외부 메모리 시스템 구성의 주입 단계 비중은 하한만 제시했습니다. 정확한 비중은 내장 메모리 구성(메모리 시스템 비용 $0)에서만 확인됩니다.
- 색인 대조도 이 글의 집계입니다. 파일 이름이
MEMORY.md의 링크로 나오는지만 봤습니다. Claude가 테스트 중 실제로 어떤 파일을 열었는지는 분석하지 않았습니다. - 저장소는 계속 바뀔 수 있습니다. 이 글의 값은 2026-10-04에 확인한 arXiv v2(2026-09-22)와 저장소 기준입니다. 리더보드에 새 제출이 들어오면 순위가 달라질 수 있습니다.
참고자료
논문은 arXiv의 LaTeX 원본으로, 실행 기록은 GitHub 저장소의 JSON 파일로 받아 2026-10-04에 대조했습니다.
| 출처 | 이 글이 가져온 것 | 구분 |
|---|---|---|
| Rathi, Yadav, Singh. DolphinBench: Mapping the Pareto Frontier of Agent Memory (arXiv 2609.24971, v1 2026-09-21, v2 2026-09-22) | 벤치마크 설계, 과제 검증 절차, Table 2 결과, 한계 절 | 1차(Mem0 연구진) |
| mem0ai/dolphinbench (Apache-2.0) | results/의 실행별 비용·설정·주입 기록·테스트 기록, harness/claude_driver.py, harness/costing.py, reference/runtimes/claude_code.py, docs/CANONICAL_EVALUATION.md | 1차(Mem0 연구진) |
| Claude Code — How Claude remembers your project | 자동 메모리의 저장 위치, MEMORY.md 200줄·25KB 한도, 주제 파일을 필요할 때 읽는 동작 | 1차(개발사) |
| Penfield Labs, LoCoMo 감사 (DEV Community, 2026-04) | LoCoMo 정답 오류 6.4%(99/1,540) | 2차(논문 인용) |
| 이 글의 집계 (2026-10-04) | 테스트·주입 단계 에이전트 비용과 비중, Claude Code 주입 토큰·시간 합계, 메모리 파일과 색인 대조 | 직접 계산 |
DolphinBench 논문이나 저장소의 결과가 바뀌거나 다른 메모리 시스템 개발사가 재현 결과를 내면 이 글을 고치고 개정 날짜를 적겠습니다.