네
네이버플레이스
December 4, 20231회
Airflow 환경 Docker compose로 containerization하기
간단 소개
Airflow를 Docker compose로 컨테이너화하여 개발 환경을 구축하고, Pycharm IDE와 연동하여 개발 효율성을 높인 경험 공유.
AI Summary
- Airflow Containerization 배경 및 목표
- Docker 기반 Airflow 환경 구축으로 개발/배포 환경의 차이 해소 및 멱등성 확보
- Docker compose를 사용하여 Airflow 컴포넌트들의 의존성 관리 및 설정 간소화
- Docker Compose를 이용한 Airflow 환경 구축
- Redis, PostgreSQL 등 의존성 설정을
depends_on파라미터로 관리 - 배포 환경과 동일한 Docker image를 base image로 사용하고, 환경 변수를 통해 설정 적용
- 로컬 DAG를 Airflow가 인식하도록 volume mount 설정
- Redis, PostgreSQL 등 의존성 설정을
- Pycharm IDE 연동 및 개발 환경 최적화
- Pycharm의 Docker compose 환경 제한으로 인해 국가별 설정 분리 및 latest tag 사용
- 개발 환경 Executor를 LocalExecutor로 변경하여 테스트 속도 향상 및 병렬성 확보
- Run configuration을 통해 Airflow 설정 초기화 및 DAG 실행을 단일화하고, 테스트 후 컨테이너 자동 종료 설정
Next Feeds
ChatGPT에게서 좋은 대답을 이끌어 내는 방법 7가지
ChatGPT에게 좋은 답변을 얻기 위한 7가지 효과적인 대화 방법과 구체적인 활용 예시를 소개합니다.
ChatGPT프롬프트AI질문 전략개인화 추천
2023. 12. 1.
카카오뱅크
고전 돌아보기, C10K 문제 (C10K Problem)
C10K 문제는 동시 사용자 1만 명을 처리하는 서버 구현의 어려움을 다루며, Non-blocking I/O와 Asynchronous I/O 기술 발전을 통해 해결되었다.
C10KNon-blocking I/OAsynchronous I/OepollNode.js
2023. 11. 30.
올리브영
AWX를 이용한 CI/CD Pipeline: Pylon
카카오페이의 레거시 배포 시스템 개선을 위해 AWX 기반 CI/CD 파이프라인 '파일런'을 구축하고, 효율성과 안정성을 향상시킨 사례.
CI/CDAWXJenkins파이프라인자동화
2023. 11. 30.
카카오페이
주니어 개발자의 우당탕탕 입사기
주니어 개발자가 올리브영 백엔드 개발자로 합류하기까지의 과정과 준비 사항, 그리고 지원 동기를 상세히 공유합니다.
O2O 서비스레거시 시스템트래픽면접스터디
2023. 11. 30.
올리브영
유일한 멀티모듈 헥사고날 아키텍처 : 메시지 허브 적용기
카카오뱅크 메시지 허브 시스템에 멀티모듈 헥사고날 아키텍처를 적용한 경험과 장점을 소개합니다.
헥사고날 아키텍처멀티모듈메시지 허브클린 아키텍처스케일 아웃
2023. 11. 30.
카카오뱅크
안전제일! 뱅크샐러드가 모바일 앱을 안정적으로 배포하는 방법
뱅크샐러드는 iOS/Android 앱을 안정적으로 배포하기 위해 조직 간 긴밀한 협업, 자동화된 시스템, 철저한 테스트를 거치는 정기 배포 루틴을 운영합니다.
모바일 앱배포협업자동화 테스트코드 리뷰
2023. 11. 30.
뱅크샐러드