현
현대자동차
February 16, 20251회
(Airflow #1) 데이터 엔지니어들이 선택하는 Apache Airflow 소개
간단 소개
Airflow는 데이터 엔지니어링을 위한 파이썬 기반 workflow 관리 및 스케줄링 도구이며, 다양한 아키텍처와 핵심 개념을 제공한다.
AI Summary
Airflow 소개 및 활용 이유
- Airflow는 workflow 관리 및 스케줄링을 위한 파이썬 기반 오픈 소스 도구이다.
- **DAG(Directed Acyclic Graph)**를 통해 workflow를 구성하고 스케줄링한다.
Airflow의 장점 및 아키텍처
- Python 기반으로 workflow 작성이 용이하고, Kubernetes를 지원하여 이식성이 뛰어나다.
- API를 통해 스케줄링, workflow, task 관리가 편리하며, XCom을 통해 task 간 정보 전달이 가능하다.
- Basic, Distributed, Separate DAG processing architecture 등 다양한 아키텍처를 지원한다.
Airflow 핵심 개념
- DAG: Task들의 집합으로 작업 흐름을 정의한다.
- Task: Airflow의 기본 실행 단위이며, Operator로 구성된다.
- Executor: Task가 실행되는 인스턴스이며, Local, Celery, Kubernetes 등 다양한 종류가 있다.
- XCom: Task 간 데이터 교환을 위한 메커니즘이다.
Next Feeds
올리브영 글로벌몰 주소 자동완성 및 검증 솔루션 도입기
올리브영 글로벌몰은 주소 자동완성 및 검증 솔루션 도입으로 고객 편의성을 높이고 운영 효율성을 개선했습니다.
올리브영글로벌몰주소 자동완성주소 검증고객 경험
2025. 2. 14.
올리브영
Swift Concurrency 2탄: Sendable
Swift Concurrency 환경에서 Sendable 프로토콜을 사용하여 데이터 레이스를 방지하고 안전한 동시성 프로그래밍을 구현하는 방법을 설명합니다.
SendableConcurrencyActorData RaceSwift
2025. 2. 14.
딜라이트룸
생성형 검색 (RAG) 평가의 최근 트렌드
생성형 검색(RAG) 평가의 최신 트렌드를 분석하고, LLM Ops 플랫폼, RAG 평가 지표, Long Context와 RAG의 비교를 다룬다.
RAGLLM Ops평가 지표LangSmithRAGas
2025. 2. 14.
네이버DnA팀
LLM 앱의 제작에서 테스트와 배포까지, LLMOps 구축 사례 소개
LLM 앱 개발, 테스트, 배포를 위한 LLMOps 구축 사례 소개: LINE GAME PLATFORM의 경험을 바탕으로 LLMOps의 정의, MLOps와의 차이점, 구축 과정, 개선점을 설명합니다.
LLMOpsLLMMLOpsRAG프롬프트 엔지니어링
2025. 2. 14.
LY Corp
데브시스터즈의 장애 대응 원칙과 방법
데브시스터즈의 장애 대응 원칙, 알람 티어링 체계, 효과적인 장애 대응 방법 및 포스트모템 절차를 상세히 설명합니다.
장애 대응알람 티어링FRT포스트모템DevOps
2025. 2. 13.
데브시스터즈
[#5 LLM Tutorial With RAG] LLM은 학습할 데이터도 스스로 만들 수 있습니다!
LLM을 활용해 학습 데이터를 자동 생성하는 튜토리얼. RAG 시스템 구축 핵심 단계 설명.
LLMRAGLangChain프롬프트 엔지니어링데이터 자동 생성
2025. 2. 12.
현대자동차