확장할 수 있는 데이터 추출 서비스 구축 경험 공유

간단 소개

올리브영 파트너 플랫폼의 데이터 추출 서비스 개선 경험 공유: Spring Batch, Kafka를 활용한 비동기 방식 구현 및 성능 개선.

AI Summary

데이터 추출 서비스 개선 배경
- 기존 엑셀 추출 기능의 문제점: 데이터 양 증가로 인한 추출 속도 저하, 서버 부하 증가, 동기적 처리 방식의 한계.
- 개선 목표: 파트너사에게 더 나은 경험 제공, 안정적인 비동기 방식의 데이터 추출 서비스 구축.
개선 전략 및 구현
- 비동기 응답 프로세스: 브라우저 종료와 관계없이 백엔드에서 데이터 추출 처리, 재다운로드 기능 제공.
- 데이터 추출 서비스 분리: 엑셀 생성 서버를 별도로 구축하여 기존 서버의 로드 분산.
- Spring Batch: 데이터 추출에 유리한 Spring Batch를 사용하여 병렬 처리 (Partitioning) 구현.
- Kafka: Kafka를 이용하여 이벤트 기반으로 데이터 추출 작업을 관리하고 안정성 확보.
Spring Batch Partitioning 및 이벤트 기반 실행
- Partitioning: 하나의 Job에서 다수의 Secondary를 생성하여 엑셀 생성 효율성 증대.
- JobExecutionListener: Job 실행 전후 임시 폴더 생성 및 상태 기록.
- Kafka Consume: 스케줄러 대신 Kafka 이벤트를 통해 배치 작업 실행.
- 이벤트 기반 방식: 배치 실행을 이벤트에 의해 트리거하여 유연성 확보.