Amazon Bedrock을 이용해 Amazon Rufus 구현해보기

간단 소개

Amazon Bedrock을 활용하여 전용 LLM 없이 Rufus와 유사한 AI 쇼핑 어시스턴트를 구축하고 응답 시간을 최적화하는 방법론을 제시합니다.

AI Summary

Amazon Rufus 소개 및 Bedrock 활용 배경
- Amazon Rufus는 생성형 AI 기반 쇼핑 어시스턴트로 속도에 최적화되어 있으며, 다양한 형식의 답변과 실시간 응답을 제공합니다.
- 전용 LLM 개발 없이 Amazon Bedrock을 활용하여 Rufus와 유사한 지능형 쇼핑 어시스턴트 구현 가능성에 대한 고민에서 시작되었습니다.
Amazon Bedrock 기반 쇼핑 어시스턴트 구현
- Amazon Bedrock, DynamoDB, OpenSearch Service, API Gateway 등 다양한 AWS 서비스를 활용하여 쇼핑 어시스턴트를 구현합니다.
- 데이터 위치에 관계없이 API를 통해 접근 가능하다면 동일한 방식으로 구축할 수 있으며, 기존 시스템을 활용하면서 최신 생성형 AI 기술을 적용할 수 있습니다.
응답 시간 최적화 방법론
- **TTFT(Time To First Token)**와 **TPS(Tokens Per Second)**를 이해하고, tool 사용을 효율적으로 관리하여 LLM 호출 횟수를 줄입니다.
- 가용한 context를 미리 준비하고, Prompt caching을 활용하여 반복적인 컨텍스트 재사용 및 비용 절감을 통해 응답 속도를 향상시킵니다.
- 스트리밍 응답 구성 시 특수 토큰을 활용하여 텍스트와 상품 정보를 분리하고, 다음 대화 추천 기능을 통해 LLM 호출 없이 빠른 응답을 제공합니다.