여러 AWS S3 Object를 하나로 압축하기

간단 소개

모두싸인에서 AWS S3 객체들을 묶어 압축하는 기능을 Node.js stream과 AWS SQS를 활용하여 구현한 과정과 해결 방법을 설명합니다.

AI Summary

배경 및 요구사항
- 모두싸인에서 여러 파일을 묶어 다운로드하는 기능에 대한 고객 요구가 있었습니다.
- 기존에는 파일 하나씩만 다운로드 가능해 불편함이 있었습니다.
- 문서 접근 권한 통제 및 안전한 URL 제공 필요했습니다.
구현 방식 및 문제점
- Node.js와 stream을 사용하여 S3 객체를 읽어 압축 후 응답하는 방식 고려했습니다.
- 하지만 통신 중단 시 작업 재시작으로 인한 시스템 부하 문제가 있었습니다.
- 클라이언트 응답 대기 및 재시도 요청 문제 발생했습니다.
해결책 및 결과
- 비동기 방식으로 변경하여 클라이언트 요청 즉시 응답하고, 실제 작업은 Task Queue(AWS SQS)를 통해 처리했습니다.
- S3Adapter 내부에 Node.js stream 로직을 구현하여 S3 파일 압축 및 업로드 효율성을 높였습니다.
- 작업 실패 시 재시도 로직 및 모니터링 기능 추가했습니다.