🤯 병렬 함수 호출에 정말 최고의 LLM을 사용하고 계신가요? 14개의 LLM과 420개의 프롬프트로 벤치마크를 실행해 보았는데, 단 하나의 확실한 승자가 나왔습니다!
🎥 추천 미디어:
라이브 벤치마크 코드베이스(WIP): https://github.com/disler/benchy
자동완성 벤치마크 영상: • Claude 3.5 Haiku are you good bro? LLM Aut...
2025년을 위한 나의 계획 - 최대 AI 컴퓨팅: • AI Engineering 2025 PLAN: Max out AI COMPU...
강력하고 오래 실행되는 에이전트 워크플로를 만드는 비결은 무엇일까요? 결국 병렬 함수 호출에 있습니다. 이 영상에서는 420개의 프롬프트에서 14개의 LLM을 비교하는 벤치마크를 통해 안정적이고 효율적이며 비용 효율적인 병렬 함수 호출을 위한 최고의 LLM과 도구 호출 기법을 알아봅니다. 단순한 이론이 아닙니다. Gemini Experimental, Gemini Flash, Claude 3.5 Sonnet, Claude 3.5 Haiku, GPT-4o, o1-mini 등을 포함한 각 LLM의 실행 시간, 비용, 정확도를 분석하여 실시간 벤치마크 결과를 보여드립니다.
🚀 강력한 에이전트 워크플로를 구축하는 데 중요한 두 가지 요소, 즉 특수 AI 에이전트와 안정적인 도구 호출 메커니즘을 살펴보겠습니다. 여러 도구를 병렬로 트리거하는 프롬프트를 설계하고 1, 2, 3개, 최대 15개의 병렬 함수 호출 체인을 테스트하는 방법을 살펴보겠습니다! 결과는 놀라울 정도로 놀라워 어떤 LLM이 긴 도구 호출 체인을 처리하는 데 탁월한지, 어떤 LLM이 부족한지를 보여줍니다.
🔥 또한 놀랍지만 흔한 기법을 소개합니다. JSON 프롬프트를 사용하여 네이티브 함수 호출 없이 LLM에 병렬 도구 호출을 실행할 수 있는 기능을 제공하는 것입니다. 이 기법을 기본 제공 함수 호출 기능과 비교하여 어떤 접근 방식이 최고의 성능을 제공하는지 확인해 보겠습니다. 이는 에이전트 워크플로의 효율성과 비용 효율성을 극대화하는 데 매우 중요합니다. 성능이 떨어지는 LLM에 리소스를 낭비하지 마세요. 이 벤치마크는 최적화된 AI 성능으로 가는 길을 보여줄 것입니다.
🛠️ 이 영상에는 에이전트 시스템, 개인 AI 비서 또는 강력한 병렬 함수 호출이 필요한 애플리케이션을 구축하는 모든 사람을 위한 실행 가능한 인사이트가 가득합니다. 데이터 기반 의사 결정을 내리고 ROI를 극대화하기 위해 AI 도구를 벤치마킹, 테스트 및 평가하는 것의 중요성에 대해 논의합니다. 또한, 최적의 결과를 위한 프롬프트 디자인 및 JSON 프롬프트 구조화 팁도 알려드립니다. 병렬 함수 호출을 위한 최고의 LLM을 사용하여 차세대 에이전트 애플리케이션을 구축하는 비법을 함께 알아봅니다.
집중하고 계속 쌓아가세요
📖 챕터
00:00 - 에이전트 워크플로의 두 가지 요소
01:05 - 병렬 함수 호출
01:36 - 병렬 함수 길이 1
02:41 - 병렬 함수 길이 2
04:11 - 병렬 함수 길이 3
04:47 - 병렬 함수 길이 4
06:31 - Gemini 1.5 Flash는 정말 대단합니다
07:30 - 병렬 함수 길이 5
09:50 - 병렬 함수 길이 7
12:12 - 구조화된 출력 및 JSON 프롬프트
14:45 - 병렬 함수 길이 10
16:15 - JSON 프롬프트가 함수 호출을 능가합니다
18:20 - 병렬 함수 길이 15
19:20 - 병렬 함수 호출을 위한 다양한 옵션
20:40 - 라이브 벤치마크는 정말 대단합니다 가치 있는
#agentic #promptengineering #llm
