Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (Feat. Andrej Karpathy) #2

간단 소개

LLM이 텍스트를 받아들이는 방식인 Tokenizer의 원리, 종류, 그리고 LLM의 이상 동작과의 연관성을 분석합니다.

AI Summary

Tokenizer의 기본 원리 및 GPT Tokenizer 분석
- BPE를 이용한 tokenizer 학습 및 vocabulary 생성 과정 요약.
- GPT-2와 GPT-4 tokenizer의 차이점 분석: 공백 처리, 숫자 인식 등.
- GPT-2 tokenizer의 vocabulary 구성 (UTF-8, merges, special token) 및 tiktoken 라이브러리 사용법.
Sentencepiece 소개 및 LLM 이상 동작과의 연관성
- Sentencepiece tokenizer의 특징: Unicode 직접 처리, 학습 용이성.
- LLM의 이상 동작 원인이 tokenization에 있음을 지적: 철자 인식, 외국어 처리, 연산 문제 등.
- 부적절한 tokenization으로 인한 문제 해결 방안 제시: character-wise tokenization 활용.
Tokenization 효율성 및 LLM 성능
- YAML이 JSON보다 효율적인 tokenization 제공.
- LLM의 instruction fine tuning 및 trailing whitespace 문제.
- 특정 token에 대한 LLM의 이상 동작 가능성 및 해결 방안.
- Tokenizer에 대한 이해가 LLM 이해에 중요함을 강조.