AI 요약관련 정보

• AI 모델 파라미터: 모델의 크기와 성능을 나타내는 가중치로, 파라미터가 많을수록 강력하지만 더 많은 리소스가 필요하며, 하드웨어 호환성을 고려해야 합니다. 🧠
• 양자화: 모델의 가중치를 압축하여 크기를 줄이고 실행 속도를 높이는 기술로, 약간의 정확도 손실로 소비자용 하드웨어에서 대규모 모델을 실행할 수 있게 합니다. 📦
• 임베딩 및 벡터 데이터베이스: 데이터를 의미를 담은 숫자 벡터로 변환하고, 이를 저장하여 유사한 의미를 가진 데이터를 빠르게 검색할 수 있도록 돕는 핵심 기술입니다. 🗺️
• RAG (검색 증강 생성): 외부 지식 소스에서 관련 정보를 검색하여 LLM의 프롬프트에 추가함으로써, 모델이 특정 데이터에 기반한 답변을 생성하고 환각 현상을 줄이도록 합니다. 📚
• 추론: 훈련된 AI 모델을 실행하여 결과를 얻는 과정으로, 실제 애플리케이션에서 모델을 빠르고 효율적으로 사용하는 것이 중요하며, 추론 용량 제한은 주요 고려 사항입니다. ▶️
• 토큰 및 컨텍스트 창: 토큰은 모델이 처리하는 텍스트의 단위이며, 컨텍스트 창은 모델이 한 번에 처리할 수 있는 최대 토큰 수로, API 비용과 애플리케이션 설계에 직접적인 영향을 미칩니다. 📝
• 가드레일: AI 모델이 생성하는 콘텐츠를 필터링하고 규칙을 적용하여 안전하고 적절한 응답을 보장하는 메커니즘으로, 제공자 가드레일과 앱 내 커스텀 가드레일이 있습니다. 🚧
• 함수 호출: AI 모델이 개발자가 정의한 함수를 호출하여 구조화된 출력을 생성하거나 실제 작업을 수행할 수 있도록 하는 기능으로, AI 에이전트와 상호작용형 애플리케이션의 핵심 빌딩 블록입니다. ⚙️
• 메모리: AI 모델 자체는 상태 비저장이므로, 개발자가 이전 상호작용을 저장하고 다음 요청에 포함시켜 대화의 연속성을 유지하는 방식으로 구현해야 합니다. 🧠
• 비용 및 속도 제한: 대부분의 AI API는 토큰 사용량에 따라 비용을 청구하며, 요청 수에 제한이 있어 효율적인 프롬프트 설계, 캐싱, 재시도 로직 등 리소스 관리가 필수적입니다. 💸