Airflow로 펀드 배치 시스템 완벽 구축하기

간단 소개

카카오뱅크가 Airflow를 활용하여 금융 규제를 준수하면서 효율적인 펀드 배치 시스템을 구축한 과정과 핵심 기술을 소개합니다.

AI Summary

카카오뱅크 펀드 시스템의 클라우드 전환과 Airflow 도입 배경
- 카카오뱅크는 금융권 최초로 퍼블릭 클라우드에 펀드 시스템을 구축하며, 클라우드 네이티브 기술을 적극 도입했습니다.
- 기존 온프레미스 시스템의 제약으로 인해 클라우드 환경에 적합한 배치 시스템이 필요했고, Airflow를 도입하게 되었습니다.
Airflow를 활용한 펀드 배치 시스템 구축 과정
- DAG 작성 컨벤션을 정의하고, KubernetesPodOperator를 사용하여 펀드 코어 애플리케이션의 핵심 비즈니스 로직을 재사용했습니다.
- execution_date의 Time Window 시작 지점이라는 특성을 고려하여, data_interval_end를 활용해 배치 업무의 시간 관리 문제를 해결했습니다.
금융 규제 준수를 위한 Airflow 시스템 구축
- 감사 로그(Audit Log) 기능을 활용하여 모든 배치 작업 내용을 기록 및 관리하고, **RBAC(Role-Based Access Control)**을 통해 프로그래머와 오퍼레이터의 직무를 분리하여 접근 통제를 강화했습니다.
- 전자금융감독규정을 준수하며 안정적이고 체계적인 배치 시스템을 구축했습니다.