N
Naver d2
July 11, 20251회
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
간단 소개
NAVER ENGINEERING DAY 2025에서 발표된 SNOW의 쿠버네티스 GPU 클러스터 기반 AI 서비스 오토스케일링 사례 소개.
AI Summary
- SNOW의 GPU Orchestration 필요성
- 대규모 쿠버네티스 GPU 클러스터에서 AI 서비스를 운영하며 글로벌 트래픽에 동적으로 대응하기 위한 오토스케일링의 필요성 대두
- 기존 HPA의 한계를 극복하고 고도화된 오토스케일링 시스템 구축
- GPU 기반 서비스 오토스케일링의 어려움 및 해결 방안
- GPU 기반 서비스의 특성상 오토스케일링이 어려운 이유 분석
- **KEDA(Event-Driven Autoscaler)**를 활용한 SNOW의 GPU Orchestration 시스템 소개
- NAVER ENGINEERING DAY 소개
- 사내 개발 경험 및 기술 트렌드 교류를 위한 NAVER ENGINEERING DAY 소개
- 실무 기술 개발 경험 및 새로운 기술/플랫폼 도입 팁 공유
Next Feeds
Amazon Bedrock을 이용해 Amazon Rufus 구현해보기
Amazon Bedrock을 활용하여 전용 LLM 없이 Rufus와 유사한 AI 쇼핑 어시스턴트를 구축하고 응답 시간을 최적화하는 방법론을 제시합니다.
Amazon Bedrock생성형 AI쇼핑 어시스턴트응답 시간 최적화Prompt caching
2025. 7. 11.
AWS
AI 코딩 어시스턴트 도입을 위한 완벽 가이드: 기술 트렌드 및 기업 사례 중심
AI 코딩 어시스턴트의 시장 동향, 주요 기술, 모델 비교, 활용 사례를 통해 도입 전략에 대한 인사이트를 제공합니다.
AI 코딩 어시스턴트LLM코드 자동 완성개발 생산성보안 점검
2025. 7. 11.
한글과컴퓨터
Amazon OpenSearch Service의 AI Search Flow를 활용한 손쉬운 AI 기반 검색 기능 구현
Amazon OpenSearch Service의 AI Search Flow 빌더를 사용하여 AI 기반 검색 기능을 손쉽게 구현하는 방법을 소개합니다.
OpenSearchAI Search FlowSemantic 검색멀티모달 검색RAG
2025. 7. 11.
AWS
전략적 QA와 리스크 관리: 장애를 예방하고 신뢰를 설계하는 품질의 힘
전략적 QA와 리스크 관리는 소프트웨어 품질 확보, 장애 예방, 그리고 기업 신뢰도 향상에 필수적이며, 전사적 협력이 중요합니다.
QA리스크 관리테스트 전략장애 대응품질 보증
2025. 7. 11.
한글과컴퓨터
코드 품질 개선 기법 17편: 사상누각
빌더 패턴 대신 생성자나 팩토리 함수를 사용하여 코드의 견고성을 높이고 가독성을 개선하는 방법을 제시합니다.
builder pattern생성자팩토리 함수코드 품질데코레이터 패턴
2025. 7. 11.
LY Corp
GPU를 밀도 있게 쓰는 방법 - 토스증권의 GPU 가상화(MIG) 도입기
토스증권의 GPU 가상화(MIG) 도입 사례를 통해 GPU 자원 효율성을 높이는 방법과 설정, 모니터링에 대해 설명합니다.
GPU가상화MIGKubernetesdcgm-exporter
2025. 7. 10.
토스