유튜브블로그Top 10
내 프로필

데브허브 안내
소개업데이트 소식

데브허브 커뮤니티

AI 플랫폼 하드웨어부터 코드까지: GPU, LLMOps, Agentic Coding으로 완성하는 AI 플랫폼

kakao tech

2025. 9. 24.

0

#ai
#infra
  • AI 플랫폼 부재로 인한 수작업, 개발 속도 저해, 기술 부채 문제에 직면했습니다. 🛠️
  • 온프레미스 환경에 쿠버네티스 기반 쿠브플로우를 선택하여 AI 플랫폼을 구축했습니다. 🏗️
  • 쿠브플로우는 표준화, 확장성, 통합을 통해 AI 개발 전 과정을 효율적으로 만들었습니다. 🚀
  • AI 전문가(데이터 사이언티스트)와 서비스 개발자 모두를 위한 맞춤형 아키텍처를 설계했습니다. 🧑‍💻
  • H200 GPU 도입 시 CPU 병목 해결을 위해 RDMA 및 인피니밴드 네트워크, 하이브리드 클러스터, 멀티 CNI/SR-IOV 기술을 적용했습니다. ⚡
  • 플랫폼 도입 후 모델 배포 시간이 2시간에서 수분으로 단축되어 민첩한 AI 개발 환경을 실현했습니다. ⏱️
  • Knative의 콜드 스타트 문제로 최소 1개 파드 유지 정책을 결정하고, GPU 자원 최적화에 집중했습니다. 💡
  • GPU 자원 효율 극대화를 위해 사용처, 모델 특성, 메모리 요구량 기반 MIG 분할 전략을 수립하고 모니터링 시스템을 구축했습니다. 📊
  • 에이전트 코딩(VS Code Copilot) 도입으로 AI 플랫폼 개발 기간을 절반 단축하고 생산성을 2~3배 향상시켰습니다. 📈
  • 복잡한 비즈니스 로직과 보안 요구사항으로 완전 자동화 툴 대신 페어 프로그래밍 방식의 코파일럿을 선택했습니다. 🤝
  • 에이전트 코딩은 초기(탑다운), 중기(점진적 기능 구체화), 후기(모호성 제거) 단계별 전략이 필요합니다. 🗺️
  • AI 협업 시 주석의 중요성, AI의 과잉 보호 본능(불필요 코드 정리 필요), 환각 현상(코드 복잡성 신호)을 인지해야 합니다. 💬
  • AI의 오지랖(불필요한 안전장치 추가)과 제한된 컨텍스트(정확한 지시 필요)를 이해하고 관리해야 합니다. 🧠
  • VS Code 세션, MCP, Figma MCP, Obsidian MCP, Postman API 자동 생성 등 에이전트 코딩 활용 팁을 공유했습니다. 💻
  • AI 시대 개발자는 코드 작성 능력보다 AI 지휘, 아키텍처 설계, 품질 책임 등 협업 역량이 중요해질 것입니다. 🧑‍🔬

Recommanded Videos