Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (feat. Andrej Karpathy) #1

간단 소개

LLM이 텍스트를 이해하는 기본 단위인 토큰과 토크나이저의 원리(BPE) 및 구현 과정을 설명합니다.

AI Summary

LLM과 토큰
- LLM은 텍스트를 토큰이라는 단위로 처리하며, 토큰은 단어와 유사한 개념이지만 LLM의 동작 방식 이해에 중요합니다.
- Andrej Karpathy의 강의를 바탕으로 토큰과 Tokenizer에 대한 이해를 돕습니다.
BPE (Byte Pair Encoding)
- BPE는 텍스트를 효율적으로 인코딩하는 알고리즘으로, 빈번하게 등장하는 byte pair를 새로운 단어로 지정합니다.
- BPE를 통해 sequence 길이를 줄일 수 있지만, vocabulary size가 커지면 모델 파라미터 수가 증가하므로 적절한 크기를 찾는 것이 중요합니다.
Tokenizer의 역할 및 구현
- Tokenizer는 LLM을 위한 입출력 전후 처리 장치로, raw text를 토큰 sequence로 변환하고, LLM이 생성한 토큰 sequence를 다시 text로 변환합니다.
- 실제 tokenizer 학습 및 encoding/decoding 과정을 구현하여 설명합니다.