GPT 토큰의 비밀. 한국어는 왜 더 느리고 요금도 더 많이 나올까?
OpenAI API를 사용시 한국어 문장을 사용하면 더 많은 비용이 나오게 됩니다. 이와 관련하여 토큰의 개념, 영어와 한글의 토큰 수 비교, Tokenizer에 대한 내용을 정리하였습니다.
Token
AI 도구, 코딩 에이전트, Git과 개발 자동화를 직접 사용하고 정리한 글을 모았습니다.
AI 도구, 코딩 에이전트, Git과 개발 자동화를 직접 사용하고 정리한 글을 모았습니다.
OpenAI API를 사용시 한국어 문장을 사용하면 더 많은 비용이 나오게 됩니다. 이와 관련하여 토큰의 개념, 영어와 한글의 토큰 수 비교, Tokenizer에 대한 내용을 정리하였습니다.