AI 요약관련 정보

• LLM에 JSON 데이터를 직접 전달하는 것은 토큰 낭비가 심하여 비용이 많이 든다. 💸
• 예시에서 원본 JSON 파일은 2350 토큰으로 변환되었다. 🔢
• 데이터를 커스텀 형식(예: 파이프(|)로 구분된 값과 헤더)으로 재구성하면 토큰 수를 크게 줄일 수 있다. ✂️
• 커스텀 형식 사용 시 토큰 수가 2350개에서 1200개로 거의 절반 가까이 감소했다. 📉
• 이러한 최적화는 대규모 데이터셋에서 더욱 중요하며, 처리 시간과 비용을 절약해준다. ⏳
• LLM에 데이터를 전달할 때는 항상 자체 커스텀 형식을 사용하는 것이 강력히 권장된다. ✅