- 게임 개발 취미와 데이터 과학 업무 경험을 융합하여 절차적 생성에 언어 모델을 활용하는 Simon 발표자. 🎮
- 마르코프 체인에서 최신 트랜스포머 아키텍처까지 언어 모델링에 대한 광범위한 소개. ⛓️
- 거대 데이터 센터가 아닌 개인 컴퓨터에서 실행 가능한 트랜스포머 모델에 초점. 💻
- 언어 모델은 문법, 추론, 감정 등 다양한 언어적 측면을 모델링할 수 있음. 🤔
- 토큰화는 단어의 의미를 생산적으로 분해하는 방법 학습. 🧩
- Mistral, Gemma, Allen Institute for AI 등 오픈 소스 언어 모델 및 도구 활용 권장. 📚
- Instruction tuned 모델은 챗봇처럼 작동하려는 경향이 있어, 이를 제어하는 방법이 중요. 🤖