AI로 초안을 쓴 글 49편, 끝까지 남은 AI 티는 "A가 아니라 B" 문장

핵심 요약

먼저 알아 둘 용어

• 어절은 띄어쓰기로 나뉜 한 덩어리입니다. "글을 썼습니다"는 2어절입니다. 이 글의 밀도는 모두 1000어절당 또는 1000문장당 횟수입니다.
• "A가 아니라 B" 문장은 "~가 아니라 ~", "~것이 아니라 ~", "~라기보다"처럼 한쪽을 부정하고 다른 쪽을 내세우는 짝 문장입니다. 분류표는 이를 "부정 대구"(C-8)라고 부르는데, 이 글에서는 알아보기 쉽게 예시 그대로 부릅니다.
• 연결어미는 "~하고", "~하며", "~하지만"처럼 문장을 이어 주는 어미입니다. 분류표는 그 바로 뒤에 찍는 쉼표("~했고,")를 C-11로 다룹니다.
• im-not-ai는 AI가 쓴 한국어를 사람 글처럼 고쳐 쓰는 Claude 스킬 묶음입니다(MIT 라이선스). 분류표 ai-tell-taxonomy.md, 실측 근거 empirical-validation.md, 장르별 기준값 baseline.json, 측정 함수 metrics.py를 공개합니다.

분류표의 기준선은 어떻게 만들어졌나

분류표 작성자는 같은 주제 20개를 Fable 5, GPT-5.6-sol, Haiku 4.5에 맡겨 AI 글 60편을 만들었습니다. 사람 쪽은 2022-01-01 이전에 발행된 것이 웨이백 머신으로 확인된 한국어 논설·에세이·분석 60편(40개 매체)입니다. 두 묶음에서 표현별 빈도 차이가 우연으로 설명되는지를 로그우도비(log-likelihood ratio) 검정으로 따진 결과가 empirical-validation.md에 있습니다.

작성자가 스스로 적은 한계가 넷입니다. 사람 쪽이 편집을 거친 전문 산문이라는 점, 두 묶음의 주제가 짝지어지지 않았다는 점, 표본이 각 60편이라는 점, 영어 원문을 번역하거나 요약한 한국어는 시험하지 않았다는 점입니다. 같은 문서는 개인 블로그 15편만 따로 보면 격차가 크게 줄었다고 적었고, 분류표의 오탐 방지 원칙에는 "장르 축에 기술 보고서 부재가 확인됐다"는 문장이 있습니다.

작성자는 과업 조건을 사람 글에 맞춘 대조군도 만들었습니다. Haiku 4.5와 Fable 5에 직접 인용 2회 이상, 수치·기관명 3회 이상을 요구한 39편입니다. 이 조건에서 AI 글의 인용부호는 1000어절당 0.00회에서 26.89회로 바뀌어 사람(11.36회)보다 많아졌고, "A가 아니라 B" 문장은 6.30회에서 6.13회로 거의 그대로였습니다. AI 글의 "A가 아니라 B" 문장 빈도는 문서의 첫 대조에서 사람 글의 9.2배, 사람 60편과 AI 60편을 모델별로 나눈 대조에서 12.1배, 과업 대조군에서 11.8배였습니다. 세 측정 모두에 나온 항목은 "A가 아니라 B" 문장뿐이고, 분류표는 이를 과업을 바꿔도 흔들리지 않는 유일한 항목으로 적었습니다. 당위 문장과 "~적" 추상어 연쇄도 과업 대조군에서 사람보다 많이 남았지만 배수는 줄었습니다(3.7배 → 2.1배, 1.6배 → 1.4배).

49편을 잰 결과

각 글의 본문에서 표, 코드 블록, 제목, 절 라벨을 빼고 문단과 목록만 남겼습니다. 인라인 코드는 "코드"라는 한 낱말로 바꿨습니다. 문장 나누기와 어절 세기, "A가 아니라 B" 문장, 쉼표가 든 문장 비율, 연결어미 뒤 쉼표 비율은 im-not-ai의 함수(_split_sentences, _eojeols, antithesis_count, comma_inclusion_rate, ending_comma_rate)를 고치지 않고 불러 썼습니다. 쉼표 밀도, 100자 이상 문장, 인용부호, 괄호는 같은 문장 나누기 위에서 직접 셌습니다.

우리 값은 모두 글별 중앙값이고, "A가 아니라 B" 문장의 49편 합산값은 괄호 안에 함께 적었습니다. 인용부호는 우리 측정이 모든 큰따옴표를 세어 분류표의 직접 인용 기준선과 비교할 수 없으므로 표에서 뺐습니다(우리 값 11.2). 기준선은 empirical-validation.md 첫 결과 표의 값입니다. 개인 블로그 "A가 아니라 B" 문장은 AI 기준선 5.8을 문서의 "개인 블로그 대비 18배"에 나온 18로 나눈 파생값입니다. 개인 블로그의 100자 이상 문장 27.7은 문서가 개인 블로그 15편만 따로 잰 값이고, 문서가 이 수치와 나란히 적은 사람 쪽 값은 91.3이 아닌 113.5입니다.

"A가 아니라 B" 문장은 글마다 차이가 컸습니다. 0회인 글이 2편, 1회인 글이 8편이었고 5회 이상인 글이 12편이었습니다. 가장 많은 글은 「에이전트 샌드박스 세 층」으로 20회(1000어절당 6.6회)였는데 이 값은 AI 기준선보다도 높습니다. 사람 출판 산문 기준선 0.6회 이하인 글은 4편이었습니다.

쉼표와 괄호는 사람 기준선 근처였고 100자 이상 문장은 사람 출판 산문(91.3)과 AI(8.1) 사이, 개인 블로그(27.7)보다는 많은 쪽이었습니다. 분류표의 과업 대조군에서는 인용을 요구하자 AI 글의 인용부호가 사람보다 많아졌습니다. 괄호는 그 대조군에서 따로 시험하지 않았지만 출처 표기와 영어 병기가 많은 글에서는 비슷하게 늘 것으로 보입니다. 그래서 이 측정만으로는 출처가 많은 기술 문서에서 인용부호와 괄호를 AI 초안의 판정 근거로 쓰기 어렵습니다.

연결어미 뒤 쉼표 — 가까운 장르에서 분류표가 끈 지표

분류표는 한국어 AI 글 탐지 연구 KatFish의 에세이 측정을 근거로 연결어미 뒤 쉼표를 쉼표 계열에서 분리도가 높은 지표로 듭니다. 그 에세이에서 연결어미 중 쉼표가 붙은 비율이 사람 4.1%, AI 19.8%였습니다. 분류표 자체 대조에서 가장 강하게 재현된 신호는 "A가 아니라 B" 문장입니다. 그런데 장르별 기준값 baseline.json에는 칼럼 사람 41.0%(칼럼 11편), 설명문 사람 32.9%(위키백과 문서 521편)가 적혀 있고, 두 장르 모두 사람이 에세이 AI 값을 넘어 "이 장르에선 판별 불가로 비활성"이라고 표시돼 있습니다.

같은 함수(ending_comma_rate)로 잰 우리 49편은 글별 중앙값 41.4%(최소 20.0%, 최대 58.9%)로 칼럼 사람 값과 비슷했습니다. 다만 칼럼 값은 11편에서 나온 수치라 표본이 작습니다. 이 값만 보면 에세이 AI 기준의 두 배이지만, 우리 글과 가까운 장르의 기준값(칼럼 11편, 위키백과 설명문 521편)에서 비활성된 지표라 판정 근거로 쓰기 어렵습니다. 두 기준값 모두 기술 리포트와 같은 장르는 아닙니다. 이 블로그의 문체 점검 스크립트도 이 지표로 경고를 내고 있었는데, 측정 당일 근거를 다시 읽고 참고 표시로 내렸습니다.

문체를 손본 한 편 — 비율보다 문장을 봐야 했던 이유

2026-10-07에 발행한 「구글 AI 콘텐츠 지침 10월 개정」은 발행 당일 문체 검토를 받아 다섯 군데를 고친 글입니다. git에 남은 수정 전(531b97a)과 수정 후(b3ddc08) 원본을 같은 방법으로 쟀더니 100자 이상 문장이 1000문장당 71.4에서 33.3으로 절반 넘게 줄어 있었습니다. 원 문장을 하나씩 대조해 보니 이 변화는 문장 몇 개로 설명됐습니다.

문장이 60개뿐인 글에서는 긴 문장 두 개가 사라지는 것만으로 1000문장당 비율이 절반이 됩니다. 수정 전후를 잴 때 짧은 글은 비율보다 줄거나 늘어난 문장 자체를 봐야 합니다. 이 글에서 긴 문장이 줄어든 원인도 일부러 쪼갠 것보다는 인용을 나누고 중복 문장을 지운 편집에 가까웠습니다.

이 측정으로 고친 것

2026-10-08 오후에 이 블로그의 글쓰기 절차(write-report 스킬)에 문체 점검 스크립트를 넣었습니다. 그 뒤 empirical-validation.md와 baseline.json을 원문으로 읽어 보니 스크립트가 AI 신호로 잡던 항목 가운데 셋이 근거와 맞지 않았습니다.

• "~를 통해"는 원어민 글이 번역문보다 2배 더 쓰고 분류표의 AI 코퍼스에는 거의 나오지 않아 기각된 규칙이었습니다. 한 글에 몰렸을 때만 보도록 문턱을 올렸습니다.
• "혁신적" 같은 과장 어휘는 과업을 맞추면 AI 글에서 0회가 되는 약한 신호였습니다. AI 신호에서 빼고 사이트 방침으로만 남겼습니다.
• 연결어미 뒤 쉼표는 위 절처럼 가까운 장르의 기준값에서 비활성된 지표였습니다. 경고를 없애고 값만 보여 주게 했습니다.

규칙의 중심은 과업 조건을 바꿔도 배수가 유지된 "A가 아니라 B" 문장에 두었습니다. 분류표의 처방대로 한 글에 2회 이상이면 몰린 곳에서 하나만 남기고 나머지는 바로 단언하는 문장으로 바꾸되 전부 없애지는 않습니다. 고친 뒤에는 점검을 다시 돌려 100자 이상 문장 수를 수정 전과 비교하는 단계도 절차에 넣었습니다. 이 글은 발행 전 점검에서 예시와 인용으로 옮긴 네 곳을 빼면 "A가 아니라 B" 문장이 없었습니다. 처음 고쳐 쓰는 과정에서 세 곳이 새로 생겼는데, 점검을 다시 돌려 찾아 고쳤습니다.

AI 초안을 고쳐 쓰는 팀을 위한 체크리스트

아직 결론이 아닌 것

• 기준선과 측정 방법이 완전히 같지는 않습니다. 분류표의 기준선을 낸 스크립트(stress-analyze.ts)와 코퍼스는 공개돼 있지 않아서 공개된 Python 측정 함수로 재현했습니다. 문서의 단위 "/1k"는 밀도 지표에서 1000어절당, 문장 지표에서 1000문장당으로 읽었습니다. antithesis_count의 설명문도 이 값을 절대치 판정에 쓰지 말라고 적고 있어서, 이 글의 비교는 우리 글이 기준선들 사이 어디쯤 있는지만 봅니다.
• 원문 쪽 표기에도 어긋남이 있습니다. empirical-validation.md는 첫 결과 표의 9.2배를 "24쌍 측정"이라고 부르는데, ai-tell-taxonomy.md는 그 24쌍에서 사람 쪽 "A가 아니라 B" 문장이 0건이었다고 적어 두 문서의 서술이 맞지 않습니다. 이 글은 첫 결과 표의 값을 그대로 옮겼습니다.
• 장르와 말투가 다릅니다. 기준선은 논설·에세이·분석이고, 우리 글은 표와 출처가 많은 기술 리포트이며 "~습니다" 체입니다. 그래서 "~한다" 종결 편중 지표는 적용하지 않았습니다.
• 우리 글은 AI 초안을 고친 결과물입니다. Claude로 초안을 쓰고 다른 회사 모델의 사실·문장 검토를 거쳐 고쳤습니다. 같은 블로그에 사람이 처음부터 쓴 대조군이 없어서 어느 단계가 어떤 지표를 바꿨는지는 가를 수 없습니다.
• 인용부호는 비교에서 뺐습니다. 우리 측정은 모든 큰따옴표를 두 개당 한 쌍으로 세어 용어나 제목을 묶은 따옴표까지 들어 있고, 분류표 기준선은 직접 인용부호입니다. 괄호도 출처 표기와 영어 병기를 구분하지 않았습니다. 100자 이상 문장은 100자 정확히인 문장도 포함합니다.
• 개인 블로그 기준선 일부는 파생값입니다. "A가 아니라 B" 문장의 블로그 기준선 약 0.32는 문서의 "18배"에서 거꾸로 계산한 값입니다.
• 문체 지표로 작성자를 가릴 수는 없습니다. 분류표는 사람 글 532편을 다시 재 보니 31편에서 "A가 아니라 B" 문장이 나왔고 그중 9편은 2회 이상이었다며(칼럼 한 편은 26회), 지표 하나로 문서를 판정하지 말라고 적었습니다.

참고자료

모두 2026-10-08에 원문을 열어 대조했습니다.

분류표 작성자가 기준선을 갱신하거나 기술 문서 장르를 추가하면 이 글의 비교를 다시 하겠습니다.