AI 요약관련 정보

• ChatGPT 답변 생성 원리의 핵심은 LLM(Large Language Model)이며, 이는 다음에 올 단어를 예측하는 정교한 수학적 함수입니다. 🧮
• LLM은 단어의 확률 분포를 기반으로 다음 토큰을 선택하며, 이 과정에서 무작위성이 발생하여 동일한 질문에도 미묘하게 다른 답변이 생성될 수 있습니다. 🎲
• LLM은 생성된 토큰의 진위 여부를 판단하지 않고, 최선의 추측을 기반으로 가장 높은 확률의 단어를 선택하므로 때때로 거짓 정보를 생성할 수 있습니다. 🤥
• ChatGPT는 자연어 처리를 위해 토큰화(문장을 작은 단위로 분할)와 임베딩(토큰을 숫자의 나열로 변환) 과정을 거칩니다. ✂️
• 모델 학습은 방대한 텍스트 데이터로 사전 훈련(pre-training)을 한 후, 특정 분야에 맞춰 미세 조정(fine-tuning)하는 방식으로 진행됩니다. 📚
• Transformer 모델은 Attention 메커니즘을 사용하여 문맥을 파악하고 병렬 처리를 통해 효율적인 학습이 가능하며, GPT 모델의 기반이 됩니다. 🚀
• Seq2Seq 모델의 병목 현상과 장기 의존성 문제를 Attention 기술로 개선하고, Transformer 모델이 이를 핵심으로 사용합니다. 🔑
• GPT 모델은 Transformer의 디코더 부분만을 사용하여 텍스트 생성에 최적화되어 있으며, ChatGPT는 GPT 모델을 기반으로 제작된 챗봇 서비스입니다. 🤖
• 추가 학습 키워드로는 GPT 모델 발전 과정, 생성형 AI 평가 지표 등이 있습니다. 🔭