용어사전 · AI 기초

토큰Token

토큰은 AI가 글을 처리하는 최소 단위로, 단어나 글자 조각 단위로 잘라 계산하며 입력·출력 길이 한도와 이용 비용의 기준이 됩니다.

#토큰#Token#AI_처리_단위

개념 이해하기

AI가 텍스트를 읽고 쓸 때 사용하는, 글자보다 조금 더 큰 처리 단위입니다.

한 줄 정의

토큰은 AI가 글을 처리하는 최소 단위로, 단어나 글자 조각 단위로 잘라 계산하며 입력·출력 길이 한도와 이용 비용의 기준이 됩니다.

AI 모델은 문장을 그대로 읽는 것이 아니라, 단어나 음절 조각 같은 작은 단위(토큰)로 쪼개어 처리합니다. 한국어는 보통 한 글자 또는 몇 글자가 하나의 토큰 단위로 묶이는 경우가 많습니다.

이 토큰 수는 AI 서비스 이용 비용을 계산하는 기준이 되기도 하고, 한 번에 처리할 수 있는 글의 길이(컨텍스트 윈도우)를 제한하는 단위이기도 합니다.

이용 비용의 기준입니다

API 기반 AI 서비스는 대부분 토큰 수에 따라 비용이 책정됩니다.

처리 가능한 길이를 제한합니다

한 번에 입력·출력할 수 있는 글의 양이 토큰 한도에 따라 정해집니다.

실무에서 직접 체감하긴 어렵습니다

일반 사용자는 토큰을 직접 다룰 일이 적지만, 개발·API 연동 시에는 중요한 개념입니다.

토큰과 글자 수는 같은 건가요?

정확히 같지는 않습니다. 언어와 모델에 따라 한 토큰이 한 글자보다 많거나 적은 글자를 포함할 수 있습니다.

토큰 수를 꼭 알아야 하나요?

일반적인 AI 서비스 이용에는 몰라도 되지만, API를 활용한 개발이나 대량 처리 시에는 비용·한도 관리를 위해 알아두는 것이 좋습니다.

아래 1차 공식 자료를 바탕으로 정리했습니다.

AI 활용 관련 상담으로 적합한 방식을 함께 설계해 드립니다.

함께 보면 좋은 페이지LLM →컨텍스트 윈도우 →