How to reduce LLM costs. And a usage tracker I built!

LLM API 가격은 모델에 따라 크게 다르며, GPT-4는 GPT-3.5 turbo 보다 월 88달러라는 상당한 비용이 발생하므로, 비용 효율성을 고려하여 적절한 모델 선택이 중요합니다. 🪙
셀 시연 도구와 같은 도구를 활용하여 다양한 LLM의 성능과 가격을 비교해 보고, 비용과 성능 사이의 균형을 찾도록 해야 합니다. ⚖️
사용자 요금과 서비스 비용을 고려하여 LLM 모델 선택을 하는 것이 중요하며, LLM 루트와 같은 기술을 활용하여 필요에 따라 모델을 선택적으로 변경하는 것이 도움이 될 수 있습니다. 🛣️
LLM을 사용하지 않을 수 있는 작업을 분류하여 비용을 줄이고 LLM의 역할을 효율적으로 활용해야 합니다. ⚙️
데이터의 크기와 유형을 최적화하여 LLM에 전송하는 양을 줄이고 부가적인 처리 비용을 절감할 수 있습니다. 📉
서비스 사용 현황을 추적하고 분석하여 LLM 사용량을 주시하고 비용 절감 전략을 수립하는 것이 필요합니다. 👀

새로운 시작, 코딩 공부와 함께 #유데미