실시간 AI 스트리밍: WebSocket으로 완성하는 끊기지 않는 대화

간단 소개

실시간 AI 스트리밍에서 중요한 연결 관리, 속도 제어, 중복 제거 기술과 WebSocket 기반 아키텍처를 설명합니다.

AI Summary

실시간 AI 스트리밍의 핵심 요소
- 사용자 경험은 모델 응답 속도뿐 아니라 답변 생성 과정의 자연스러움에 크게 좌우됨
- 안정적인 연결, 적절한 속도 제어, 중복 제거가 중요
WebSocket 기반 스트리밍 아키텍처
- API Gateway는 WebSocket 연결 및 세션 관리를 담당
- Lambda는 토큰 스트림의 속도 조절(백프레셔) 및 중복 제거/순서 보장을 수행
- Bedrock은 실제 답변 생성을 담당
기술적 고려 사항
- **TTFB(Time To First Byte)**를 최적화하여 빠른 초기 응답 제공
- API Gateway WebSocket의 메시지 크기 제한을 고려하여 메시지 분할 전송 필요
- 시퀀스 번호를 사용하여 메시지 순서 보장 및 멱등성 키를 통해 중복 제거