같은 글인데 한국어가 더 비싼 이유: 토큰이 무엇이고 어디서 줄어드나

같은 길이의 글이라도 한국어가 영어보다 토큰을 더 많이 쓰는 이유를 설명하는 대표 이미지 — 글자 수가 같아도 AI가 세는 단위는 다릅니다.

같은 분량의 글인데 한국어로 넣으면 사용량이 더 빨리 줄어드는 경험, 해보셨을 겁니다. 착각이 아닙니다. AI는 글자 수나 단어 수로 세지 않고 토큰이라는 자기만의 단위로 셉니다. 그리고 이 단위는 언어마다 효율이 다릅니다. 이 글은 토큰이 무엇인지, 왜 한국어가 불리한지, 그리고 실무에서 어떻게 줄이는지를 정리합니다.

토큰은 글자도 단어도 아니다

토큰은 AI가 글을 잘라 쓰는 조각입니다. 자주 등장하는 덩어리는 통째로 한 조각이 되고, 드문 덩어리는 여러 조각으로 쪼개집니다. 영어의 흔한 단어는 대체로 한 조각에 들어갑니다.

문제는 이 조각 목록이 영어 위주 데이터로 만들어졌다는 점입니다. 한국어는 조각 목록에 통째로 등록된 표현이 적어서, 한 글자가 여러 조각으로 나뉘는 일이 흔합니다. 그래서 같은 뜻을 전달하는 데 더 많은 조각이 듭니다.

같은 문장을 영어와 한국어로 넣었을 때 토큰이 나뉘는 방식의 차이 — 같은 의미라도 잘리는 조각 수가 다릅니다.

그래서 세 가지가 함께 늘어난다

토큰이 늘면 세 가지가 동시에 영향을 받습니다.

비용 — 대부분의 요금은 토큰 단위입니다. 조각이 많으면 그만큼 더 냅니다.
속도 — 조각을 하나씩 처리하므로 길수록 오래 걸립니다.
한도 — 한 번에 넣을 수 있는 분량에는 상한이 있습니다. 긴 문서를 넣을 때 한국어가 먼저 걸립니다.

특히 세 번째가 실무에서 자주 문제가 됩니다. 영어 문서는 통째로 들어가는데 같은 분량의 한국어 문서는 잘리는 상황이 생깁니다.

줄이는 방법은 문장이 아니라 구조에 있다

흔한 오해가 “문장을 짧게 쓰면 된다”인데, 효과는 크지 않습니다. 실제로 줄어드는 지점은 대개 반복되는 구조입니다.

같은 지시문을 매 요청마다 통째로 다시 넣고 있지 않은지, 참고 자료 전체를 넣고 있지는 않은지, 이전 대화를 전부 다시 보내고 있지는 않은지를 보는 편이 낫습니다. 한 번에 큰 덩어리를 줄이는 쪽이 문장 다듬기보다 훨씬 효과가 큽니다.

토큰 사용을 줄일 때 확인할 반복 지시문, 자료 범위, 대화 이력의 세 지점 — 문장을 다듬기 전에 반복되는 덩어리부터 봅니다.

확인하는 방법

추측하지 않고 직접 세는 게 가장 정확합니다. 대부분의 서비스가 사용량 화면에서 요청별 토큰 수를 보여줍니다. 같은 작업을 두 가지 방식으로 넣어 보고 숫자를 비교하면, 어느 쪽이 실제로 절약되는지 바로 나옵니다.

다만 토큰을 세는 방식은 모델마다 다릅니다. 한 모델에서 아낀 비율이 다른 모델에서 그대로 재현되지는 않습니다. 모델을 바꿨다면 숫자도 다시 확인하는 편이 안전합니다.

공식 문서가 알려 주는 토큰 세기의 규칙

토큰 수를 직접 세는 방법은 서비스마다 안내가 있습니다. 아래는 Anthropic의 토큰 세기 문서와 OpenAI가 공개한 토크나이저 도구 tiktoken의 안내문(README)에 적힌 내용을 독자용으로 옮긴 것입니다. 두 문서 모두 2026년 10월 18일 기준으로 열어 본 내용이며, 모델과 요금은 바뀔 수 있으니 실제로 쓰기 전에 현재 문서를 한 번 더 보시기 바랍니다.

확인할 것	공식 문서에 적힌 내용	실무에서 의미
토큰 수는 정확한 값인가	Anthropic 문서는 토큰 세기 결과가 추정치이며 실제 사용량과 소량 다를 수 있다고 적습니다.	화면의 숫자를 청구서와 1대1로 맞추려 하기보다 비교용 기준으로 씁니다.
덤으로 붙는 토큰도 청구되나	시스템 최적화를 위해 자동으로 더해진 토큰이 세기 결과에 포함될 수 있지만, 이 토큰은 청구되지 않고 내가 보낸 내용만 청구 기준이 된다고 합니다.	세기 결과가 청구액보다 약간 크게 보일 수 있습니다.
세는 데 돈이 드나	토큰 세기 기능 자체는 무료이고, 사용 등급에 따라 분당 요청 수 한도가 있습니다(Start 5,000, Build 10,000, Scale 20,000).	자주 세어 봐도 비용 걱정은 없지만, 자동화에 넣으면 요청 한도를 봐야 합니다.
무엇까지 셀 수 있나	시스템 프롬프트, 도구 정의, 이미지, PDF를 같은 방식으로 셀 수 있습니다. 다만 웹 검색 같은 서버 도구나 주소(URL)로 가리킨 파일은 이 기능에서 오류가 납니다.	글자만이 아니라 첨부와 도구 설명도 토큰을 쓴다는 뜻입니다.
모델이 바뀌면 숫자도 바뀌나	Claude Opus 4.7 이후 모델은 새 토크나이저를 쓰며, 같은 글이 이전 모델보다 대략 30퍼센트 더 많은 토큰이 됩니다. 문서는 이전 모델에서 잰 숫자를 재사용하지 말고 쓸 모델로 다시 세라고 안내합니다.	모델을 바꾸는 순간 예산과 한도를 다시 계산해야 합니다.
캐시를 쓰면 세기도 달라지나	토큰 세기는 프롬프트 캐싱을 반영하지 않으며, 캐싱은 실제로 메시지를 만들 때만 일어난다고 합니다.	절약 효과는 세기 화면이 아니라 실제 사용량에서 확인합니다.

내 컴퓨터에서 세어 보는 도구

tiktoken의 README는 이 도구를 바이트 쌍 인코딩(BPE) 방식의 빠른 토크나이저로 소개합니다. BPE는 글을 원래대로 되돌릴 수 있는 가역적이고 손실 없는 방식이며, 학습 데이터에 없던 글에도 쓸 수 있고, 토큰 열은 원본 바이트보다 짧아서 평균적으로 토큰 하나가 약 4바이트에 해당한다고 설명합니다. 또 단어를 ‘encod’와 ‘ing’처럼 자주 쓰이는 조각으로 나누는 경향이 있다고 적습니다.

사용법은 인코딩 이름(예: o200k_base)을 불러오거나 encoding_for_model로 모델에 맞는 토크나이저를 받은 뒤, encode()로 글을 토큰 번호 목록으로 바꿔 길이를 세는 것입니다. 이 인코딩 이름이 모델마다 달라질 수 있다는 점이 앞서 말한 “세는 방식은 모델마다 다르다”와 이어집니다. 어떤 인코딩이 내가 쓰는 서비스에 해당하는지는 해당 서비스의 문서에서 확인해야 하며, 이 글에서는 특정 서비스의 한국어 배율을 단정하지 않습니다.

그래서 어떤 순서로 점검하면 되나

쓸 모델을 먼저 정합니다. 세기 결과는 모델별 토크나이저를 따르므로 모델이 정해지기 전의 숫자는 참고용입니다.
같은 작업을 두 방식으로 넣어 비교합니다. 반복되는 지시문을 넣은 쪽과 줄인 쪽의 토큰 수를 같은 도구로 셉니다.
첨부와 도구 설명도 포함해 셉니다. 글자 수만 줄여서는 이미지·PDF·도구 정의가 차지하는 몫이 보이지 않습니다.
모델을 바꿀 때 다시 셉니다. 이전 모델에서 잰 비율이 새 모델에서 그대로 유지된다고 가정하지 않습니다.

업데이트

이 글의 원문 발행 뒤에도 제품 기능·정책·측정 조건은 달라질 수 있습니다. 이 글은 공식 공개 자료(2026년 9월 14일 기준, 토큰 세기 문서는 2026년 10월 18일 기준)를 바탕으로 하며, 확인 가능한 발표 내용과 그 한계를 설명하는 데 범위를 둡니다. 새 공지에서 제공 범위·제한·수치가 달라졌다면 그 최신 공지가 우선합니다.

확인 자료

확인 날짜: 2026-09-14 (토큰 세기 문서와 tiktoken 안내문은 2026-10-18)