로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용

간단 소개

쏘카의 로그 파이프라인 개선 과정을 소개하고, 기존 파이프라인의 문제점을 분석하여 데이터 컨트랙트 도입을 통한 해결 방안을 제시합니다.

AI Summary

기존 로그 파이프라인 문제점
- S3와 GCS에 중복 데이터 저장으로 인한 비효율성 발생
- Airflow 배치 스케줄링으로 인한 데이터 신선도 부족
- 스키마 변경 이력 관리 부재로 인한 유지보수 오버헤드 발생
해결 방안 및 새로운 아키텍처
- MSK와 커스텀 Kafka Consumer를 도입하여 실시간 데이터 분류 시스템 구축
- 데이터 컨트랙트 도입으로 스키마 통합 관리 체계 구축
- Protobuf, Buf, Kafka Schema Registry, GCS, BigQuery 등 활용
기술 스택 선정 및 구현 과정
- Firehose, Kafka-connect 대신 커스텀 Consumer 개발
- confluent-kafka 파이썬 SDK의 한계 극복 노력
- 스키마 업데이트 및 통합 관리, 데이터 생성 및 소비, GCS 적재, BigQuery 데이터 적재 과정 설명