AI 요약관련 정보

• 트랜스포머 모델은 인코더, 디코더, 또는 둘 다의 조합으로 구성될 수 있으며, 디코더 기반 모델이 최근 대세임 🤖
• 버트는 2018년 구글에서 개발한 인코더 기반 모델로, 마스크드 언어 모델링과 다음 문장 예측 방식으로 훈련됨 📚
• 버트 모델은 베이스, 미디엄, 라지 등 다양한 크기가 있으며, 크기에 따라 인코더 블록의 반복 횟수, 어텐션 헤드 개수, 임베딩 크기가 달라짐 🔢
• 버트 모델 구현 시 활성 함수로 젤루(GELU) 함수를 사용하며, 케라스에서 기본적으로 지원함 💡
• 케라스 NLP 또는 케라스 허브를 통해 사전 훈련된 버트 모델을 쉽게 로드하고 미세 튜닝할 수 있음 ⚙️
• 텍스트 데이터를 모델에 입력하기 전에 토크나이저를 사용하여 정수 형태로 변환해야 하며, 모델 훈련 시 사용했던 토크나이저를 동일하게 사용해야 함 🔑
• 허깅 페이스(Hugging Face)의 트랜스포머스 라이브러리는 다양한 트랜스포머 기반 모델을 쉽게 임포트하고 미세 튜닝할 수 있도록 지원함 🤗
• 허깅 페이스에서는 오토 모델(AutoModel)을 사용하여 특정 작업에 맞는 모델을 자동으로 로드할 수 있음 🎯
• 허깅 페이스의 트레이너(Trainer) 클래스를 사용하여 모델을 훈련하고, 이밸류에이트(Evaluate) 라이브러리를 사용하여 모델의 성능을 평가할 수 있음 🏆
• 미세 튜닝된 모델은 허깅 페이스 허브에 업로드하여 다른 사람들과 공유할 수 있음 📤