AI Engineering Lesson #2: Vector Embeddings for LLMs
- LLM은 입력 단어의 의미를 벡터로 변환하여 문맥을 이해하고 유용한 출력을 생성합니다. 🧠
- '은행'이나 '사과'처럼 다의적인 단어는 문맥에 따라 벡터가 업데이트되어 정확한 의미를 반영합니다. 🍎
- 어텐션 메커니즘은 문장 내 모든 단어 간의 관계를 파악하여 멀리 떨어진 문맥도 정보 손실 없이 처리합니다. 🔗
- 어텐션의 주요 단점은 컨텍스트 창 크기에 비례하는 N^2 * D의 높은 계산 복잡성입니다. 💥
- 벡터 임베딩은 개념(객체, 텍스트)을 압축하여 표현하는 1차원 배열로, 각 값이 특정 의미를 나타냅니다. 📦
- 벡터 공간에서 유사한 개념은 가까운 거리를 가지며, 이는 비정형 데이터를 의미론적으로 이해하는 데 효과적입니다. 📏
- 채용 과정에서 이력서를 벡터로 변환하여 유사한 후보를 찾거나 이상적인 인재를 식별하는 데 활용될 수 있습니다. 🧑💼
데브허브 | DEVHUB | AI Engineering Lesson #2: Vector Embeddings for LLMs