전시 딜 내재화 프로젝트 회고: MongoDB 기반 데이터 구축과 API 개선 과정

간단 소개

MongoDB 기반 딜 내재화 프로젝트를 통해 데이터 관리 효율성을 높이고 API 성능을 개선한 경험을 공유합니다.

AI Summary

딜 내재화 배경 및 목표
- 기존 OracleDB 기반 딜 정보 관리의 비효율성 (DB 연결 낭비, 디버깅 어려움, 대응 지연) 해소
- MongoDB로 전환하여 유지보수 효율성 증대, 비용 절감, 개발 속도 향상, 트래픽 대응력 강화 목표
프로젝트 진행 과정 및 주요 내용
- 기존 시스템의 문제점을 분석하고, 영향 범위 및 데이터 정합성을 고려하여 MongoDB 기반 데이터 구축
- Spring Batch, Kafka, MongoDB를 활용한 데이터 수집 및 적재 파이프라인 구축
- API 응답 값 검증을 위한 Validator 구축 및 ELK 스택을 활용한 실시간 모니터링 환경 구축
주요 시행착오 및 개선 사항
- 임베디드 문서 미갱신 문제, 예상치 못한 데이터 급증, 복잡한 롤백 플랜, Validation 대상 선정의 빈틈 등의 문제 발생
- 멀티스레딩, 배치 분리, 롤백 플랜 단순화, API 응답 결과 검증 등의 개선을 통해 문제 해결
- MongoDB 적용 후 API 응답 지연 개선, 딜 갱신 속도 향상, Oracle 의존성 제거 등의 효과 달성