Airflow란?

 

Airflow란?

Airflow는
👉 데이터 작업을 “언제·어떤 순서로·어떻게” 실행할지 관리하는 도구야.

한 줄로 말하면:

“여러 작업(job)을 정해진 순서와 시간에 자동 실행해주는 오케스트레이션 도구”

---

Airflow를 왜 쓰는가?

데이터 작업 현실은 보통 이래 👇

• A 작업 끝나야 B 실행
• B 실패하면 C 실행하면 안 됨
• 매일 새벽 2시에 자동 실행
• 실패하면 알림 받고 재실행

👉 이런 걸 사람이 수동으로 하면 바로 지옥
👉 그래서 Airflow가 대신 관리

---

핵심 개념 5가지 (이거만 알면 80%)

1️⃣ DAG (Directed Acyclic Graph)

• 작업 흐름 전체 설계도
• “이 작업 → 다음 작업” 관계 정의

Extract → Transform → Load

👉 순서가 있는 작업 묶음

---

2️⃣ Task

• DAG 안의 하나의 작업 단위
• 예:
  • Python 실행
  • SQL 실행
  • Bash 실행
  • API 호출

👉 Task 여러 개 = DAG 하나

---

3️⃣ Operator

• Task를 어떻게 실행할지 정의
• 자주 쓰는 것:
  • PythonOperator
  • BashOperator
  • SQL/BigQueryOperator

👉 Task의 실행 방식

---

4️⃣ Scheduler

• “지금 이 DAG 실행할 시간인가?”
• 실행 시점 판단 담당

👉 두뇌 역할

---

5️⃣ Executor

• 실제로 작업을 어디서 돌릴지 결정
• 예:
  • LocalExecutor
  • CeleryExecutor
  • KubernetesExecutor

👉 근육 역할

---

Airflow 동작 흐름 (아주 쉽게)

1️⃣ DAG 정의 (Python 파일)
2️⃣ Scheduler가 실행 시점 판단
3️⃣ Executor가 Task 실행
4️⃣ 성공/실패 상태 기록
5️⃣ UI에서 한눈에 확인

---

Airflow는 “무엇을” 하지 않는가 ❌

❌ 데이터 변환 도구 아님
❌ SQL 성능 최적화 안 해줌
❌ Spark를 대체하지 않음

👉 Airflow는 “일정 + 순서 + 상태 관리”만 책임

---

Airflow를 쓰면 좋은 경우 (체크리스트)

✅ 강력 추천 상황

• ETL 파이프라인이 있다
• 작업 간 의존성이 있다
• 정기 실행(스케줄링)이 필요
• 실패 시 재시도/알림 필요
• 운영 파이프라인이 있다

---

❌ 굳이 안 써도 되는 경우

• 단발성 분석
• 작업 1~2개
• 수동 실행해도 됨
• Notebook 위주 실험

---

Airflow vs DBT (헷갈리는 포인트 정리)

구분AirflowDBT

역할	오케스트레이션	데이터 변환
초점	언제/순서/실행	SQL 로직
언어	Python	SQL
DAG	작업 흐름	모델 의존성
관계	DBT를 실행시킴	Airflow에 의해 실행됨

👉 Airflow + DBT는 같이 쓰는 게 정석

---

비유로 이해하기 🧠

• Airflow: 공장 생산 관리자
• DBT: 공장 안 가공 기계
• DW: 창고
• Spark: 대형 자동 가공 라인

---

실무에서 자주 쓰는 패턴

Airflow
 ├─ raw 데이터 수집
 ├─ Spark / Python ETL
 ├─ dbt run
 ├─ dbt test
 └─ 완료 알림

👉 Airflow는 “파이프라인 전체를 묶는 컨트롤 타워”

---

블로그용 한 문장 요약

Airflow는 데이터 작업 자체를 처리하는 도구가 아니라,
데이터 작업이 ‘제때, 올바른 순서로, 안정적으로’ 실행되도록 관리하는 도구다.