Apache Airflow 실무 스터디 가이드

1. Apache Airflow란?

Apache Airflow는 워크플로우 오케스트레이션 플랫폼으로, 복잡한 데이터 파이프라인의 스케줄링, 모니터링, 관리를 위한 오픈소스 도구입니다. Python으로 작성된 DAG(Directed Acyclic Graph)를 통해 워크플로우를 코드로 정의합니다.

2. 왜 써야 하는가?

기존 배치 스케줄러와 비교한 Airflow의 장점:

3. 핵심 개념

아키텍처 개요

주요 컴포넌트

• DAG (Directed Acyclic Graph): 태스크와 의존성을 정의하는 워크플로우
• Operator: 실제 작업을 수행하는 단위 (PythonOperator, BashOperator 등)
• Task: Operator의 인스턴스
• TaskInstance: 특정 실행 시점의 Task 상태
• Hook: 외부 시스템 연결 인터페이스
• Connection: 외부 시스템 접속 정보
• Variable: 전역 변수 저장소
• XCom: 태스크 간 데이터 교환

4. 퀵스타트

1단계: 설치

# pip를 통한 설치 (추천)
pip install apache-airflow==2.7.0

# 제약 조건 파일 사용 (선택적)
pip install apache-airflow==2.7.0 \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.7.0/constraints-3.9.txt"

2단계: 초기화 및 설정

# 환경 변수 설정 (선택적, 기본값 사용 가능)
export AIRFLOW_HOME=~/airflow

# 데이터베이스 초기화
airflow db init

# 관리자 계정 생성
airflow users create \
    --username admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email admin@example.com \
    --password admin123

3단계: 첫 DAG 작성

# ~/airflow/dags/first_dag.py
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.bash import BashOperator

def print_hello():
    print("Hello from Airflow!")
    return "Hello World"

default_args = {
    'owner': 'data_engineer',
    'depends_on_past': False,
    'email_on_failure': True,
    'email': ['alerts@example.com'],
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

with DAG(
    dag_id='first_dag',
    default_args=default_args,
    description='첫 번째 Airflow DAG',
    schedule_interval='0 9 * * *',  # 매일 오전 9시
    start_date=datetime(2026, 3, 1),
    catchup=False,
    tags=['tutorial', 'example'],
) as dag:
    
    task1 = BashOperator(
        task_id='print_date',
        bash_command='date',
    )
    
    task2 = PythonOperator(
        task_id='print_hello',
        python_callable=print_hello,
    )
    
    task3 = BashOperator(
        task_id='sleep',
        bash_command='sleep 5',
        retries=3,
    )
    
    task1 >> task2 >> task3  # 의존성 정의

4단계: 서비스 실행

# 웹 서버 실행 (포트 8080)
airflow webserver --port 8080

# 새 터미널에서 스케줄러 실행
airflow scheduler

# 브라우저에서 http://localhost:8080 접속
# admin/admin123 로그인

5. 핵심 설정 레퍼런스

6. 실무 팁 & 트러블슈팅

자주 겪는 문제

실무 팁

• DAG 파일 최적화: 상단에 무거운 라이브러리 import 금지, 함수 내부에서 import
• 의존성 관리: task1 >> [task2, task3] >> task4 형태로 간결하게 표현
• 에러 처리: retries, retry_delay, on_failure_callback 활용
• 변수 관리: Connection과 Variable은 UI/API로 관리, 코드에 하드코딩 금지
• 테스트: airflow tasks test dag_id task_id execution_date로 단위 테스트
• 모니터링: 메트릭스(StatsD) 연동, 알림(Slack/Email) 설정 필수

7. 참고 자료

• 📖 공식 문서 (Apache Airflow) - 가장 최신의 정확한 정보
• 🐙 GitHub 저장소 - 소스코드, 이슈, 컨트리뷰션
• 👥 커뮤니티 - Slack, 메일링리스트, 행사
• 🛠️ Astronomer 가이드 - 실무 Best Practices
• 🎤 Airflow Summit - 컨퍼런스 발표 자료
• ✍️ 블로그 포스트 - 사용자 경험 공유