AI 요약관련 정보

• AI 에이전트 비용이 예상보다 10배나 많이 나와서 문제 해결에 집중하게 됨 💸
• 개발 중에는 사용자당 2~4센트의 비용이 들 것으로 예상했지만, 도구 호출 비용을 간과함 🤔
• 실제로는 사용자 요청당 4~5회의 요청이 발생하여 비용이 크게 증가함 📈
• GPT-4o 모델이 비싸서 다른 저렴한 모델을 사용하려 했지만, 정확도가 떨어지는 문제가 있었음 😥
• 시스템 프롬프트와 도구 목록을 동적으로 생성하여 모델이 필요한 정보만 제공하도록 개선함 💡
• Claude Code를 활용하여 기술 아키텍처를 설계하고 문제 해결 방안을 모색함 🧑‍💻
• Gemini Flash와 같은 저렴한 모델을 사용하여 의도 분류 레이어를 구축함 ✨
• 시스템 프롬프트를 모듈화하여 필요한 모듈만 동적으로 결합하여 크기를 줄임 🧩
• 도구 호출도 필요에 따라 동적으로 선택하여 불필요한 호출을 줄임 🛠️
• 요청의 복잡성에 따라 다른 모델을 사용하여 비용 효율성을 높임 🎛️
• 변경 후 요청당 비용이 2~4센트에서 0.5센트 이하로 감소하여 80% 이상의 비용 절감 효과를 얻음 🎉
• 저렴한 모델로 전환해도 정확도가 떨어지지 않았으며, 자동화된 테스트를 통해 검증함 ✅
• 동적 시스템 프롬프트 및 도구 호출 방식은 모델이 제대로 따르지 못할 정도로 큰 시스템 프롬프트에 대한 좋은 대안임 🌟
• 여러 개의 저렴한 모델을 사용하는 것이 하나의 비싼 모델을 사용하는 것보다 속도와 비용 면에서 더 효율적일 수 있음 🚀