AI 요약관련 정보

• 배치 작업을 너무 크게 만들지 말고, 수집과 가공을 분리하여 운영 및 유지보수 용이성을 높이자. 🏗️
• 외부 API 호출 시 트래픽 제한 문제를 해결하기 위해, 외부 데이터 형태 그대로 DB에 저장하는 단계를 추가하여 외부 호출을 격리한다. 📦
• 가공 로직에 문제가 발생했을 때, 외부 API를 다시 호출하지 않고 DB에 저장된 데이터를 활용하여 재처리할 수 있도록 한다. 🔄
• 배치 1(수집)과 배치 2(가공)의 실행 간격을 시간 텀을 두거나, 배치 1 완료 후 배치 2를 실행하는 API를 호출하는 방식으로 유기적인 흐름을 만들 수 있다. ⏰
• 배치 플로우를 구성하는 다양한 방법(젠킨스 활용, 배치 어플리케이션 등)은 상황에 맞춰 선택한다. ⚙️