AWS re:Invent 2024 Recap: AI 2편

간단 소개

AWS re:Invent 2024에서 공개된 SageMaker와 Bedrock의 주요 업데이트를 통해 AI 개발 및 운영 효율성을 높이는 방안을 제시합니다.

AI Summary

SageMaker 업데이트
- Hyperpod flexible training plans 출시로 컴퓨팅 요구량과 학습 시간대에 맞춰 자동 자원 관리 가능.
- Hyperpod task governance 도입으로 부서 간 자원 할당 조율 및 유휴 자원 재할당을 통해 자원 이용률 향상.
- third party 애플리케이션 내재화로 AI 개발 도구 사용 편의성 증대.
Bedrock 업데이트
- Bedrock Marketplace 통해 다양한 FM(Foundation Model) 선택 가능, 아마존 자체 생성형 AI인 Amazon Nova 출시.
- Model distillation, Prompt Caching, Intelligent Prompt Routing 등 기능으로 비용, 지연 속도, 정확성 최적화.
- Knowledge Bases 서비스로 RAG(Retrieval-Augmented Generation) 워크플로우 관리, 쿼리 자동 생성, knowledge graphs 자동 생성 지원.
- data automation 제공으로 ETL(Extract, Transform, Load) 과정 자동화, AI 검증 값 제공으로 환각(Hallucination) 문제 해결.
- Automated Reasoning checks 기능으로 AI 생성 답변 검증, Guardrails Multimodal toxicity detection 기능으로 유해 콘텐츠 방지.
결론
- SageMaker와 Bedrock 업데이트 통해 AI 개발 및 서비스 운영 효율성 향상.
- AI 전문가가 아니어도 Bedrock을 통해 AI 서비스 개발 가능.