AI 요약관련 정보

• JSON은 괄호, 따옴표 등 구조적 구문이 모두 토큰으로 처리되어 LLM 비용을 증가시킵니다. 💸
• 'Tune'이라는 새로운 포맷은 LLM 토큰 사용량을 30~60% 이상, 최대 63%까지 절감할 수 있습니다. 📉
• Tune은 YAML과 유사한 들여쓰기 방식과 배열에 대한 테이블 형식을 사용하여 구조를 한 번 정의하고 데이터를 제공합니다. 📊
• 실제 테스트에서 JSON은 1,236 토큰을 사용한 반면, Tune은 454 토큰으로 63% 이상 절감 효과를 보였습니다. ✨
• 토큰 사용량 40~50% 절감은 파이프라인 전반에 걸쳐 수천 달러의 비용 절감으로 이어질 수 있습니다. 💰
• Tune은 로그, 메트릭, 이벤트, 제품 카탈로그, 구성 테이블 등 균일한 데이터에 특히 효과적입니다. 📋
• LLM은 Tune 포맷을 더 안정적으로 처리하여 오류 발생 가능성을 줄입니다. ✅
• 하지만 복잡하게 중첩된 데이터 구조에는 Tune이 적합하지 않으며, 이 경우 JSON이 더 나을 수 있습니다. 🚧
• 이 비디오는 LLM과의 작업에서 JSON이 과거의 것이 될 것이라고 강조하며 Tune 사용을 권장합니다. 🚀