How LLMs Work & Why Prompt Engineering Matters
- LLM은 문장 내 다음 단어를 예측하는 방식으로 작동하며, 이를 이해하면 모델을 원하는 대로 제어할 수 있습니다. 🔮
- 프롬프트 엔지니어링은 더 나은 테스트 케이스 작성, 코드 생성, 디버깅, 로그 요약 등에 유용하며, 시간을 절약해줍니다. ⏳
- 시퀀스-투-시퀀스 모델은 RNN 기반으로 토큰을 순차적으로 처리하며 문장 번역, 분류, 요약 등에 사용되었지만 정보 병목 현상이 있었습니다. 🚧
- 어텐션 메커니즘은 디코더가 입력 토큰 전체를 참조하여 문맥 파악 능력을 향상시켰습니다. 💡
- 트랜스포머는 RNN 없이 어텐션만 사용하여 병렬 처리가 가능하며, 더 빠르고 강력하지만 고정된 컨텍스트 창 제약이 있습니다. 🚀
- GPT 모델은 대규모 텍스트 데이터로 학습하여 프롬프트만으로 다양한 언어 작업을 수행할 수 있게 되었습니다. 🗝️
- 프롬프트 엔지니어링은 사용자 입력, 프롬프트 구성, LLM 응답, 앱 동작으로 구성된 루프를 최적화하는 과정입니다. 🔄
- LLM 기반 시스템은 사용자 문제 설명, 구조화된 프롬프트 생성, LLM 응답 처리, 결과 반환의 과정을 거칩니다. ⚙️