AI 요약관련 정보

• 임베딩은 LLM과 RAG 양쪽에서 사용되지만, 그 목적과 방식에 큰 차이가 있습니다. 🔄
• LLM 임베딩은 말뭉치 학습을 통해 텍스트를 토큰으로 분리하고, 각 토큰을 고정된 차원의 숫자 벡터로 변환합니다. 🧩
• 이 토큰 벡터들은 신경망 학습을 통해 의미를 부여받으며, 현대 모델은 토큰당 수천 개 이상의 차원을 사용하여 풍부한 의미를 내포합니다. 🧠
• LLM은 토큰 벡터들을 어텐션 및 FFN 공정을 거쳐 다음 토큰을 예측하는 데 사용하며, 최종 토큰 벡터의 유사도 검색을 통해 단어를 생성합니다. ➡️
• RAG 임베딩은 문장이나 문서 전체의 의미를 하나의 고정된 차원 벡터로 압축하는 것을 목표로 합니다. 📚
• RAG는 여러 토큰 벡터들을 '풀링(Pooling)'이라는 과정을 통해 결합하여 하나의 대표 벡터를 생성하며, 이를 '시멘틱 어그리게이션'이라고 부릅니다. 🔗
• 풀링 방식에는 민 풀링, 맥스 풀링, 어텐션 가중치 풀링 등이 있으며, 모든 토큰의 차원이 같은 시멘틱을 갖는다는 전제하에 이루어집니다. 📊
• RAG 임베딩으로 생성된 문장 벡터는 리트리버(검색기)에 전달되어 벡터 데이터베이스에서 의미적으로 유사한 문서를 검색하는 데 활용됩니다. 🔍
• RAG 임베딩은 단순히 산술적인 계산이 아닌, 학습된 토큰 집합과 벡터를 가진 임베딩 모델을 필요로 하며, 모델의 크기가 클수록 더 좋은 벡터를 생성합니다. ✨
• 결론적으로, LLM 임베딩은 토큰 단위의 시퀀스 생성에, RAG 임베딩은 문장/문서 단위의 의미 검색에 중점을 둡니다. 🎯