DataEngineering/Airflow

Airflow Operator의 종류

Operator란?Operator = Task를 “어떻게 실행할지” 정의한 템플릿DAG 안에서 실제 작업 내용을 담당하는 실행 단위Operator 큰 분류 (이거부터 기억)Airflow Operator는 크게 4가지로 나눠서 보면 이해가 쉬워 👇Action OperatorTransfer OperatorSensor OperatorUtility Operator1️⃣ Action Operator (실제 작업 실행)👉 “무언가를 실행한다”🔹 PythonOperatorPython 함수 실행PythonOperator( task_id="run_python", python_callable=my_func)✔ 간단한 로직✔ API 호출✔ 파일 처리🔹 BashOperator쉘 명령 실행BashOperator( ..

Airflow란?

Airflow란?Airflow는👉 데이터 작업을 “언제·어떤 순서로·어떻게” 실행할지 관리하는 도구야.한 줄로 말하면:“여러 작업(job)을 정해진 순서와 시간에 자동 실행해주는 오케스트레이션 도구”Airflow를 왜 쓰는가?데이터 작업 현실은 보통 이래 👇A 작업 끝나야 B 실행B 실패하면 C 실행하면 안 됨매일 새벽 2시에 자동 실행실패하면 알림 받고 재실행👉 이런 걸 사람이 수동으로 하면 바로 지옥👉 그래서 Airflow가 대신 관리핵심 개념 5가지 (이거만 알면 80%)1️⃣ DAG (Directed Acyclic Graph)작업 흐름 전체 설계도“이 작업 → 다음 작업” 관계 정의Extract → Transform → Load👉 순서가 있는 작업 묶음2️⃣ TaskDAG 안의 하나의 작..