Chat DIC 프로젝트에서 AWS Bedrock Prompt Caching으로 성능 최적화하기

Chat DIC 프로젝트 개요 및 문제점

• Chat DIC은 자연어 요청으로 DB 스키마 기반 SQL 쿼리를 생성하는 시스템.
• 초기에는 매번 전체 스키마 정보를 프롬프트에 포함시켜 토큰 수 증가, Throttling, 응답 지연 문제 발생. AWS Bedrock Prompt Caching 도입 및 작동 원리
• Prompt Caching은 반복되는 프롬프트 문맥을 캐시에 저장하여 모델 재계산을 줄이고 지연 시간 및 토큰 비용을 절감하는 기능.
• Cache Checkpoint로 프롬프트 prefix를 지정하고, TTL(Time To Live) 5분 내 캐시 히트 시 재설정.
• system 및 tools 프롬프트에 캐싱을 적용하여 DB 스키마 정보 재처리를 방지. 성능 최적화 결과 및 향후 계획
• Prompt Caching 도입 후 평균 응답 시간 ~29.3초에서 ~23.1초로 단축, Throttling 발생률 약 60% 감소.
• 시스템 리소스 부하 및 비용 절감 효과 확인.
• 향후 캐시 TTL 및 캐시 영역 세분화를 통한 사용자 맞춤형 로직 도입 계획.