AI / 데이터
토큰(Token)
AI에서 토큰은 질문·코드·답변처럼 모델이 읽고 쓰는 내용을 나누어 처리하고 세는 단위입니다.
쉬운 설명
AI는 글을 통째로 읽는 대신 여러 조각으로 나누어 처리해요. 이때 사용하는 단위를 토큰이라고 해요. 한 단어가 여러 토큰으로 나뉠 수도 있어서 글자 수나 단어 수와는 달라요. AI 요금표의 입력·출력 토큰이나 코딩 도구의 사용량은 이 처리량을 가리켜요. 로그인 오류에서 나오는 ‘인증 토큰’은 접근 권한을 확인하는 값으로, 여기서 설명하는 토큰과는 다른 뜻이에요.
이런 상황에서 만나요
AI 코딩 스터디에서 긴 파일을 보내려는데 “입력 토큰 수를 먼저 확인해 보세요”라는 안내를 받았다고 해 볼게요. 토크나이저에 내용을 넣으면 어떻게 나뉘고 몇 토큰인지 확인할 수 있어요. 아래는 짧은 요청 한 문장을 실제로 계산한 결과예요.
짧은 문장은 몇 토큰일까요?
코드를 설명해 주세요.
분할 방식: o200k_base
- 1토큰 수를 확인할 문장을 넣었어요. 여기서는 이 한 문장만 계산해요.
- 2테두리로 구분한 조각 하나가 토큰 하나예요. ␣는 띄어쓰기이며, 뒤의 글자와 같은 토큰에 포함돼요.
- 3이 분할 방식에서는 총 6토큰이에요. 다른 모델이나 분할 방식에서는 결과가 달라질 수 있어요.
긴 파일을 보내기 전이라면 사용할 모델에 맞는 계산 도구에 내용을 넣어 보세요. 한도를 넘을 것 같으면 질문과 관계없는 부분을 덜어 내고, 코딩 도구가 실제로 기록한 사용량도 함께 확인하세요. 한 문장을 센 값에 이전 대화나 다른 파일의 양까지 포함된 것은 아니에요.
헷갈리기 쉬운 점
짧게 질문했는데 왜 입력 토큰이 많이 잡히나요?
방금 쓴 질문 외에도 도구가 함께 보내는 이전 대화, 파일, 지시문과 작업 결과가 포함될 수 있기 때문이에요. 토크나이저에서 한 문장만 센 결과와 실제 요청의 전체 사용량은 다를 수 있어요. 코딩 도구가 이번 요청에 어떤 내용을 포함했는지 확인해 보세요.
‘토큰 한도 초과’와 ‘Token expired’는 다르게 봐야 해요. 문맥 한도 초과라면 필요한 내용만 보내거나 진행 상황을 요약해 새 대화를 시작할 수 있어요. 인증 토큰 만료라면 해당 서비스의 재로그인·갱신 절차를 확인해야 해요. 토큰 수를 한국어 글자 수로 고정 환산하지 말고, 사용할 모델에 맞는 계산 도구를 쓰세요.
왜 알아야 할까요?
AI가 읽어야 할 내용의 양을 알면 프로젝트 전체를 매번 보내는 대신 필요한 파일과 오류 부분을 골라 요청할 수 있어요. API로 만든 앱에서는 실제 입력·출력 사용량을 확인해 요청 한 번에 드는 비용을 가늠할 수 있고요.
조금 더 자세히
텍스트를 토큰으로 나누는 도구를 토크나이저(Tokenizer)라고 합니다. 한 토큰은 단어 전체일 수도, 단어의 일부나 문장 부호일 수도 있습니다. 토큰마다 숫자 ID가 붙어 있고 모델은 이를 사용해 내용을 처리합니다. 어떤 분할 방식을 쓰느냐에 따라 같은 문장의 토큰 수가 달라집니다.
입력 토큰(Input Token)은 모델에 보낸 내용, 출력 토큰(Output Token)은 모델이 생성한 내용의 처리량입니다. 입력에는 함께 전달한 대화·코드·도구 결과가 포함될 수 있습니다. 그림의 6토큰은 표시된 문장만 계산한 값이며 실제 API 요청 전체의 사용량이나 요금은 아닙니다.
컨텍스트 창(Context Window)은 모델이 한 번의 요청에서 다룰 수 있는 내용의 범위입니다. 그 한도와 최대 답변 길이는 모델마다 다릅니다. API 요금도 입력·출력, 캐시와 추론 처리 방식에 따라 달라질 수 있습니다. 월 구독 서비스의 이용 한도와 API의 토큰별 과금은 구분해서 확인합니다.
로그인이나 외부 서비스 연동에서 쓰는 액세스 토큰(Access Token)은 요청의 접근 권한을 확인하는 값입니다. AI 처리량과 관계가 없으며, 만료되거나 취소되면 갱신이 필요할 수 있습니다. 인증 오류를 질문할 때는 토큰 원문을 지우고 오류 메시지와 발생 상황을 전달합니다.
직접 사용할 때 확인해 보세요
- AI 처리량인지 인증 값인지 먼저 구분한다
- 사용할 모델에 맞는 토크나이저로 계산한다
- 한 문장의 예상량과 실제 요청 전체의 사용량을 구분한다
관계 지도
