- 벤치마킹 환경이 불합리하고 불완전하여 참여 대상을 뽑아내어 진정한 경쟁사를 배제하고 있는 경우가 많다😨
- 클라우드 3.5 쿠와 오픈AI 예상 출력을 통해 개발자가 속도, 가격, 성능을 객관적으로 파악할 수 있는 벤치마크가 필요하다💡
- 단어 자동 완성 작업을 통해 모델 성능, 속도, 가격을 평가하는 간단한 도구를 구축했다📈
- 기미 1.5 플래시 8B는 가장 저렴하지만, 클라우드 3.5 손엣 최신은 기미 1.5 플래시 8B 대비 100배 더 비싸다😱
- 활성화 시간이 짧고, 정확성이 좋은 모델들은 더 저렴하게 사용할 수 있다!🤩