Laya 검증 — Jev보다 정확하고 7.8배 빠르다는 비교표를 원자료와 한 줄씩 대조했습니다

핵심 요약

먼저 알아 둘 용어

• System One 모델은 TypeSafe AI가 붙인 이름으로, 문장을 쓰지 않고 정해진 형식의 판단만 확률과 함께 돌려주는 모델입니다. 질문 유형은 세 가지입니다. choice(선택지 중 하나), score(순서가 있는 단계 중 하나), noul(예/아니오 질문에 0부터 1 사이의 확률로 답함). Jev는 TypeSafe의 첫 모델이고, 자세한 내용은 Jev 모델 정리 글에 있습니다.
• zero-shot은 평가 데이터의 질문 형식이나 업무를 학습 때 본 적 없이 바로 답하는 것이고, 미세 조정(fine-tuning)은 그 업무의 학습 데이터로 모델을 추가 학습한 뒤 답하는 것입니다. 같은 시험이라도 둘의 점수는 의미가 다릅니다.
• ECE(Expected Calibration Error, 기대 보정 오차)는 모델이 말한 확률과 실제 정답률의 차이를 평균한 값입니다. "90%"라고 답한 문항들의 실제 정답률이 90%면 0에 가깝습니다. 낮을수록 확률을 믿고 쓸 수 있습니다.
• 온도 재조정(temperature scaling)은 모델 출력에 숫자 하나를 나눠 확률 분포를 평평하게 또는 뾰족하게 바꾸는 사후 보정입니다. 정답(가장 높은 선택지)은 바뀌지 않고 확률만 바뀝니다.
• p50 지연 시간은 요청 시간의 중앙값입니다. 절반의 요청이 이보다 빠릅니다.
• 교사 모델(teacher)은 벤치마크의 기준 답을 만든 모델입니다. typed-decisions의 기준 답은 사람이 아니라 4B급 모델이 낸 세 번의 답을 평균한 분포입니다.

Laya는 무엇인가 — 확인된 사실

Laya는 문장을 생성하는 모델이 아니라 양방향 인코더(BERT 계열) 위에 판단용 출력층을 얹은 모델입니다. 선택지마다 점수를 매길 자리를 하나씩 두고, 같은 질문에 속한 선택지들의 점수를 확률 분포로 바꿉니다. 한 번의 계산(forward pass)으로 여러 질문에 함께 답하고, 출력은 확률과 숫자뿐이라 형식이 깨진 JSON이 나올 수 없습니다. 아래는 저장소·모델 카드·패키지 저장소에서 직접 확인한 것입니다.

이 블로그는 9월 27일에 한국어 문장으로 Laya를 직접 측정한 적이 있습니다. 한국어 18개 분류에서 다국어 모델은 47~48%를 맞혔고, 같은 문장의 영어 버전에서는 57~63%였습니다. 이 글은 그 측정을 반복하지 않고, 소개 페이지의 비교 주장을 원자료와 대조하는 데 집중합니다.

비교표를 한 줄씩 — 무엇과 무엇을 비교했나

소개 페이지 5절의 표는 "Laya 수치는 모두 직접 측정했고, Jev 수치는 독립 연구(AbdelStark, nibzard)와 TypeSafe AI가 발표한 것"이라고 적습니다. 그러나 Laya 저장소의 BENCHMARKS.md 첫머리는 같은 수치에 대해 "Jev 수치는 제3자가 발표한 것이고 여기서 측정한 적이 없다. 표본 크기와 프롬프트가 다르므로 참고용으로만 보라"고 적습니다. 아래는 각 줄을 원래 출처까지 따라간 결과입니다.

판정은 이 글의 분류입니다. "조건 불일치"는 수치 자체가 틀렸다는 뜻이 아니라, 나란히 놓으면 우열을 말할 수 없는 조건이라는 뜻입니다.

typed-decisions — 벤치마크 관리자는 두 값을 다른 표에 둡니다

typed-decisions는 Hugging Face의 LocalLLaMA/typed-decisions 데이터셋입니다. 고객 상담·송장 처리·보안 경보·에이전트 실행 기록 네 업무에서, 상태 하나에 질문 다섯 개를 묻습니다. 시험(test) 400건·판단 2,000개, 학습(train) 1,200건입니다. 데이터셋 카드는 TypeSafe와 관계없는 독립 벤치마크라고 밝힙니다.

카드의 리더보드는 표가 둘입니다. 첫 표는 이 업무를 본 적 없는 범용 모델의 zero-shot 점수이고, 둘째 표는 train으로 학습한 모델입니다. 카드는 "두 표는 비교할 수 없다"고 적고, Laya typed-decisions를 둘째 표에 "train에 맞춘 모델"로 올려 두었습니다.

여기서 세 가지가 보입니다.

• "교사 한계를 넘었다"는 장점이 아닐 수 있습니다. 사이트는 0.735 돌파를 우위의 근거로 적었지만, 카드는 같은 숫자에 대해 "0.735를 크게 넘는 점수는 모델이 교사의 버릇을 배우고 있다는 뜻"이라고 적습니다. 기준 답이 정답이 아니라 4B급 교사 모델의 답 분포이기 때문입니다.
• 학습한 모델끼리 놓으면 Laya는 중간입니다. 학습 데이터로 미세 조정한 모델 12개 중 Laya는 7위이고, 매개변수가 4억 개 안팎으로 Laya와 비슷한 인코더 모델 OpenDecider-nano(79.6%)와 soft-decider-421m(77.4%)이 더 높았습니다. 이 줄들은 대부분 자기 보고라 관리자가 다시 돌리지 않았습니다.
• Laya의 zero-shot 점수는 입력을 무시하는 기준선보다 낮습니다. 기본 체크포인트는 36.2%로, 카드의 Prior 47.0%에 못 미칩니다. Laya 저장소도 "기본 체크포인트는 다수 클래스 기준선(0.461)보다 낮고, 이 벤치마크의 능력은 전부 미세 조정에서 나온다"고 적습니다(저장소의 기준선 값은 카드와 계산 방식이 달라 조금 다릅니다).

정확도 대신 확률 분포를 보면 결과가 반대로 나옵니다. Laya 저장소의 같은 표에서 교사 분포와의 일치도(soft accuracy)는 Jev 0.580, Laya typed-decisions 0.471이고, 보정 오차(ECE)는 Jev 0.144, Laya 0.213입니다. 카드가 "보정이 핵심"이라며 정확도 옆에 분포 지표를 함께 보라고 권하는 벤치마크에서, 분포 지표는 Jev 쪽이 낫습니다. 다만 이 비교도 미세 조정한 Laya와 zero-shot Jev 사이의 것이고, Laya는 자체 ECE 함수로 계산했고, 카드는 제출자마다 ECE 계산 방식이 다르다고 경고하므로 두 값의 차이 폭은 확정할 수 없습니다.

보정 "3배" — 0.246은 어떤 시험의 값인가

Jev의 ECE 0.246은 nibzard의 decision-model-benchmark에서 왔습니다. 이 연구는 시험 다섯 개에서 Jev의 ECE를 따로 냈고, 값은 시험마다 크게 다릅니다.

사이트가 인용한 ECE 0.246은 S5 시험에서 나온 값입니다. S5는 입력만으로는 정답을 알 수 없도록 기준 답을 무작위로 심어 둔 문항이라, 모델이 얼마나 "모르겠다"고 하는지를 보는 시험입니다. 연구자 자신도 정정한 v3 보고서에서 "Jev의 ECE 0.246은 이 부분집합만 다룬다", "Jev의 확신도 점수는 개발사가 정의한 값이고 정답일 확률로 확립된 적이 없으므로, 이 ECE는 확률 보정의 비교 근거가 아니다"라고 적었습니다.

Laya의 ECE 0.081은 반대로 Laya에 유리한 조건에서 나온 값입니다. T4 결과 파일의 calibration_repair 항목을 보면, 49개 시험마다 데이터의 절반으로 온도를 다시 맞추고 나머지 절반에서 잰 ECE의 평균이 0.0812입니다. 출고 상태 그대로의 평균은 0.4656입니다. 즉 사이트의 "3배"는 Laya가 시험마다 따로 보정한 뒤의 평균과 Jev가 S5 시험 하나에서 낸 출고 상태 값을 비교한 것입니다. 같은 nibzard 연구에서도 Jev의 ECE는 시험에 따라 0.021부터 0.249까지 달랐습니다. 두 모델의 ECE가 같은 데이터셋에 함께 실린 경우는 앞 절의 typed-decisions 한 줄뿐이고, 거기서는 Jev가 낮았습니다. 그러나 그 비교도 미세 조정한 Laya와 zero-shot Jev의 비교이고 ECE 계산 방식이 같은지도 확인되지 않아, 통제된 보정 비교라고 할 수는 없습니다.

속도 "7.8배" — GPU 내부 추론 시간과 인터넷 왕복 시간

사이트의 32.8ms는 Colab의 Tesla T4 GPU에서 다국어 모델에 질문 하나를 넣었을 때의 p50입니다. 같은 측정에서 영어 모델은 39.5ms였습니다. Jev의 236~276ms는 두 독립 측정에서 왔는데, 둘 다 원격 호스팅 API를 부른 왕복 시간입니다. AbdelStark의 측정은 "Jev는 프랑스에서 호스팅 서비스로 호출했다"고 명시하고 "호스팅 지연과 로컬 지연은 운영상의 측정이지 모델 처리량 비교가 아니다"라고 적었습니다. nibzard의 최신 측정(9월 29일, 4만 건)은 Banking77 316ms, CLINC150 279ms, NLU++ 267ms였습니다.

236/32.8은 7.2배, 276/32.8은 8.4배이고, 사이트의 7.8배는 그 중간값입니다. 영어 모델(39.5ms)로 나누면 6.0~7.0배로, 저장소 BENCHMARKS.md는 이쪽 기준으로 "6~7배"라고 적었습니다. 같은 저장소 안에서 같은 비교의 배수가 다릅니다.

더 중요한 것은 하드웨어입니다. 저장소에는 여러 기여자가 잰 지연 시간이 함께 실려 있습니다.

GPU가 있으면 Laya는 네트워크 왕복이 없는 만큼 확실히 빠릅니다. 그러나 4코어 서버 CPU에서는 영어 모델이 질문 하나에 580ms로, Jev의 인터넷 왕복보다 느렸습니다. 사이트의 "일반 상용 하드웨어에서 30~35ms"는 GPU를 전제로 한 표현입니다. 또 Jev는 한 요청에 여러 질문을 받으므로, 질문 10개를 "직렬로 1,500ms"라고 가정한 줄은 근거가 없습니다. typed-decisions 리더보드에서 질문 5개를 한 요청으로 보낸 Jev의 p50은 710ms였습니다.

"1년 전에 이미 만들었다" — 인용된 논문 두 편

소개 페이지의 제목은 "1년 전에 RL로 비자기회귀 판단 모델을 만들었는데, 프런티어 연구소가 그것을 '돌파구'라 불렀다"입니다. 근거로 든 arXiv 논문 두 편의 LaTeX 원본을 받아 읽었습니다.

첫 논문은 "확률을 출력하는 RL 기반 판단기"라는 점에서 발상이 이어지지만, 한 업무 전용이고 임베딩을 외부 API에서 받는 구조라 요청할 때 질문과 선택지를 정의하는 지금의 Laya와는 다릅니다. 둘째 논문은 사이트의 설명과 내용이 맞지 않습니다. 또 사이트는 Jev 개발사 대표를 "ChatGPT의 공동 발명자"로 소개하지만, 이 블로그가 확인한 것은 InstructGPT 논문(arXiv 2203.02155)의 공저자라는 사실까지입니다.

RLCD로 학습했다 — 그런데 강화학습 항은 효과가 확인되지 않았습니다

RLCD(Reinforcement Learning for Calibrated Decisions)는 원래 TypeSafe가 Jev의 학습 방법에 붙인 이름입니다. TypeSafe는 방법을 공개하지 않았으므로, Laya의 RLCD는 같은 이름을 쓴 Laya 자체 구현입니다. 학습 코드(laya/train.py)의 손실은 두 항의 합입니다.

• 강화학습 항: 출력 점수(logit)에 가우시안 잡음을 더해 표본을 뽑고, 적정 점수 규칙(proper scoring rule: 로그 점수, 구면 점수, 순위 확률 점수)으로 보상을 매기고, 정책 경사 알고리즘인 REINFORCE로 모델을 갱신합니다. 표본 4개의 평균 보상을 기준선으로 쓰는 GRPO(Group Relative Policy Optimization) 방식입니다.
• 소프트 교차 엔트로피 항: 교사 분포를 정답으로 놓고 그대로 맞추는 일반 지도 학습입니다. 가중치 1.0으로 항상 들어갑니다.

2026-09-29에 외부 기여자가 이 둘을 떼어 비교한 결과를 이슈 #741로 올렸습니다. 같은 노트북 설정에서 손실만 바꿔 세 번 학습했고, 시험 데이터 1,200개 판단에서 소프트 교차 엔트로피만 쓴 경우가 정확도 80.50%로 RLCD(79.08%)보다 높았고 Brier 점수도 더 좋았습니다. RLCD가 앞선 것은 ECE 하나(11.18% 대 11.82%)였습니다. 기여자는 "소프트 교차 엔트로피 자체가 적정 점수 규칙이라 최적점이 같고, 강화학습 항은 같은 방향에 분산만 더한다"고 설명했습니다. 이 비교는 시드 하나로 돌린 것이라 결론이라 하기는 이릅니다. 그러나 Laya 학습 코드의 설명문도 지금은 "#741은 이 추가 항에서 이득을 측정하지 못했다"고 적고 있습니다. 사이트 결론의 "RLCD로 학습한 모델이 7.8배 빠르다"에서, 속도는 인코더 구조에서 오는 것이고 RLCD와는 관계가 없습니다.

그래도 맞는 것 — 저장소가 스스로 밝힌 한계

비교표와 별개로, Laya 저장소의 BENCHMARKS.md와 연구 결과 파일은 이 분야에서 드물 만큼 원자료를 많이 공개합니다. 사이트의 "솔직한 한계" 절도 아래 내용은 원자료와 맞습니다.

• 선택지가 많으면 무너집니다. Banking77(77분류)에서 영어·다국어 모델 모두 0.425였습니다. 선택지들이 출력층의 토큰 예산(head_max_len)을 나눠 쓰기 때문에, 77개면 선택지 하나에 약 4토큰만 남습니다. 저장소는 선택지를 20개 아래로 두라고 권합니다.
• zero-shot은 약합니다. typed-decisions의 0.766은 그 벤치마크의 학습 데이터로 미세 조정한 값이라고 사이트도 밝힙니다. 앞 절의 비교표에서 이 사실이 빠졌을 뿐입니다.
• 재현이 안 되면 고칩니다. 다국어 모델의 51개 언어 측정이 최신 코드에서 재현되지 않자(#208), 세 대의 기계에서 다시 측정해 결과 파일을 교체하고 이전 값을 함께 남겼습니다. 사이트의 "45 / 51"은 그 이전 값입니다.
• 학습에 쓴 데이터를 밝힙니다. AG News·BoolQ·스팸·피싱·MS MARCO는 학습에 들어갔고, 감정·SST-5·프롬프트 주입·Banking77·ToxicChat은 빼 두었다고 결과 파일에 적었습니다. 학습에 쓰지 않은 ToxicChat 유해성 판정은 0.530(macro-F1 0.400)으로 무작위에 가깝다고 스스로 적었습니다.

사이트의 "환각할 수 없다"는 출력 형식에 대해서만 맞습니다. 선택지 밖의 답을 지어낼 수는 없지만, 선택지 중 틀린 것을 높은 확률로 고르는 일은 위의 크메르어 사례처럼 일어납니다.

체크리스트

아직 결론이 아닌 것

• 이 글에서 새로 잰 값은 없습니다. 모든 수치는 Laya 저장소의 결과 파일, 두 독립 측정, typed-decisions 데이터셋 카드에서 옮겼습니다. 9월 27일의 한국어 측정은 별도 글입니다.
• Laya typed-decisions 0.766에는 결과 파일이 없습니다. 저장소가 "미세 조정 실행에서 나온 값이고 커밋된 결과 파일이 아직 없다"고 적었고, 리더보드도 자기 보고로 분류합니다. 이 글은 값 자체를 의심하지 않고 비교 조건만 다룹니다.
• 리더보드의 train 학습 모델들도 대부분 자기 보고입니다. Laya가 일곱째라는 순위는 관리자가 다시 돌리지 않은 값들 사이의 순위입니다.
• ECE는 계산 방식에 따라 달라집니다. 구간 수와 확률의 정의(최고 선택지 확률인지, 개발사가 정의한 확신도인지)가 출처마다 다릅니다. typed-decisions에서 Jev 0.144, Laya 0.213이라는 비교도 같은 계산 함수로 낸 값인지 확인하지 못했습니다.
• RLCD 비교(#741)는 외부 기여자 한 명의 시드 하나짜리 실험입니다. 저장소가 그 결론을 코드 설명에 반영했지만, 다른 데이터나 다중 턴 대화에서도 같은지는 확인되지 않았습니다.
• Jev의 "보통 150ms 안팎"이라는 사이트 문구의 출처는 확인하지 못했습니다. 확인한 독립 측정은 모두 236ms 이상이었습니다.
• 양쪽 모두 빠르게 바뀝니다. Laya는 17일간 35번 배포했고, Jev도 모델 버전이 올라가고 있습니다. 이 글은 2026-10-05에 확인한 상태입니다.

참고자료

모두 2026-10-05에 원문을 받아 대조했습니다.

Laya 소개 페이지의 비교표나 저장소 결과 파일이 바뀌면 이 글을 고치고 개정 날짜를 적겠습니다.