- 6장에서는 인코더-디코더 모델인 바트(BART)와 T5 모델을 알아볼 예정 📚
- 트랜스포머 인코더와 디코더는 구조가 유사하며, 어텐션 블록과 피드포워드 네트워크를 가짐 🧱
- 인코더-디코더 모델에는 인코더의 출력이 디코더에 입력되는 어텐션 블록이 추가됨 🔗
- 인코더의 최종 출력이 디코더의 모든 블록에 전달되며, 크로스 어텐션 층에서 활용됨 🌉
- 바트 모델은 로보타 데이터셋과 BPE 토크나이저를 사용하며, 인코더와 디코더 각각 6개 층으로 구성됨 ⚙️
- 인코더와 디코더는 하나의 토큰 임베딩 층을 공유하여 의미 일관성을 유지함 🤝
- 케라스 NLP와 허깅페이스 Transformers를 통해 사전 훈련된 바트 모델을 사용할 수 있음 🤗
- 한글 데이터로 파인튜닝된 바트 모델 사용 사례도 제공됨 🇰🇷
Recommanded Videos
AI Engineering #4: Reasoning models
2025. 5. 24.
구글이 또 무료로? 구글 OPAL, n8n·Make 대체할 수 있을까?
2025. 8. 2.
what is jwt authentication?
2024. 12. 8.
AI뉴스 - 할루시네이션 원인 찾았다, 위험한 VibeVoice, Kimi K2-0905, Sonoma, DH3, 구글 분할 기각, 신박한 탈옥 방법, F.02 설거지 등
2025. 9. 8.
How to Do CRUD with React & Convex
2024. 11. 15.
인류 최대 밸런스 게임 : 익명과 안전 둘 중 하나를 고르시오.
2024. 10. 16.