- 프롬프트 캐싱은 서비스 제공자(예: OpenAI)가 관리하며, 클라이언트의 특정 태그(예:
W2CACHE)로 직접 제어할 수 없습니다. 🚫 - OpenAI의 캐싱 정책은 특정 모델과 입력 토큰에 한정되며, 캐시 유지 기간 및 범위는 모델, 시기, 요금제에 따라 유동적입니다. 💰
- 캐싱은 '프리픽스 일치' 정책을 따르므로, 프롬프트의 앞부분이 완전히 일치해야 캐시가 적용되며, 순서 변경이나 미세한 차이도 캐시를 무효화합니다. 🧩
- 캐싱 효율을 높이려면 프롬프트의 앞부분을 최대한 동일하게 유지하고, 변경되는 부분만 마지막에 추가하는 것이 중요합니다. 🎯
- 랭체인은 RAG 구축을 돕는 파이프라이닝 라이브러리로, 핵심 단위는 함수를 래핑하는 '러너블(Runnable)' 객체입니다. 🛠️
- 랭체인은 LLM 및 검색 관련 태스크를 위한 방대한 사전 정의된 러너블을 제공하여, 복잡한 LLM 체이닝 실험에 유용합니다. 📦
- 파이프라이닝은 여러 함수를 순차적으로 연결하여 새로운 복합 함수를 만드는 '함수 합성' 개념입니다. 🔗
- 파이썬의 타입 힌트는 린트 도구(예: PyCharm)가 타입 검사를 수행하는 데 활용되며, 실제 런타임에는 주석처럼 무시됩니다. 🐍
- 랭체인은 파이프(
|) 연산자를 사용하여 러너블 객체들을 연결하며, 이는 함수 합성을 통해 복잡한 LLM 워크플로우를 간결하게 표현하는 문법적 편의를 제공합니다. ➡️
Recommanded Videos
