나의 하루를 읽어주는 AI, mini 일기 서비스 개발기

간단 소개

카카오뱅크 mini 일기 서비스 개발 과정을 통해 ChatGPT 활용 및 성능 분석, 서비스 안정화 전략을 제시합니다.

AI Summary

mini 일기 서비스 개발 배경 및 목표
- 카카오뱅크 mini 고객에게 AI 기반의 일기 생성 기능 제공
- Azure OpenAI의 ChatGPT를 활용하여 일상 기록의 즐거움 제공
- 개인정보 유출 방지를 위해 익명화된 데이터 사용
ChatGPT 성능 분석 및 최적화
- TPM, RPM 제한으로 인한 서비스 지연 문제 해결
- ChatGPT 3.5 모델(0301, 0613) 성능 테스트를 통해 RPS, 응답 속도, 일기 품질 비교 분석
- 다중 리전을 활용한 분산 처리 및 Backoff 전략 적용으로 안정성 확보
서비스 운영 후 분석 및 팁
- 리전별 일기 생성 시간 차이 확인 및 트래픽 가중치 분산 적용
- 체크카드 사용 건수는 일기 생성 시간에 큰 영향 X
- ChatGPT 모델 선정, 성능 테스트, 장애 관리 방안 등 개발 팁 제공