Airbyte 실무 스터디 가이드

1. Airbyte란?

Airbyte는 오픈소스 데이터 통합 플랫폼으로, 데이터 소스(Source)와 목적지(Destination)를 연결하는 ELT(Extract, Load, Transform) 파이프라인을 구축하고 운영하는 데 특화되어 있습니다. 300개 이상의 커넥터를 제공하며, 커뮤니티와 기업의 요구에 맞춰 빠르게 확장되고 있습니다.

2. 왜 써야 하는가?

기존 ETL 도구(예: Stitch, Fivetran)나 직접 구축한 스크립트 대비 Airbyte의 장점을 비교합니다.

3. 핵심 개념

Airbyte 아키텍처는 Source, Destination, Connection 세 가지 핵심 요소로 구성됩니다.

주요 컴포넌트

• Source: PostgreSQL, MySQL, REST API, Salesforce 등 데이터를 읽어오는 커넥터.
• Destination: BigQuery, Snowflake, S3, PostgreSQL 등 데이터를 쓰는 커넥터.
• Connection: Source와 Destination을 연결하고 동기화 주기, 증분 키 등을 정의한 작업.
• Airbyte Server: 웹 UI와 API를 제공하는 중앙 관리 서버.
• Worker: 실제 동기화 작업을 실행하는 컨테이너.
• Metadata DB: 연결 정보, 작업 로그, 상태를 저장하는 데이터베이스.

4. 퀵스타트

Docker Compose를 이용한 로컬 설치 및 첫 번째 파이프라인 구축 예제입니다.

단계 1: Airbyte 설치 (Docker Compose)

# 최신 docker-compose.yaml 파일 다운로드
curl -L -o docker-compose.yaml https://raw.githubusercontent.com/airbytehq/airbyte/master/airbyte-integrations/connectors/destination-postgres/docker-compose.yaml
# 또는 공식 저장소에서 직접 복사

# Airbyte 서비스 시작
docker-compose up -d

# 서비스 상태 확인
docker-compose ps

# 웹 UI 접속: http://localhost:8000
# 기본 계정: airbyte / password

단계 2: Source 설정 (예: Postgres)

# UI에서 "Sources" -> "New source" 선택
# Source type: Postgres
# 구성 예시 (환경 변수 또는 직접 입력):
host: localhost 또는 DB 호스트
port: 5432
database: your_database
username: your_user
password: your_password
ssl: false (개발 환경)

단계 3: Destination 설정 (예: BigQuery)

# UI에서 "Destinations" -> "New destination" 선택
# Destination type: BigQuery
# 구성 예시:
project_id: your-gcp-project
dataset_id: airbyte_raw
credentials_json: {
  "type": "service_account",
  "project_id": "...",
  "private_key_id": "...",
  "private_key": "-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----\n",
  "client_email": "...",
  "client_id": "...",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "..."
}

단계 4: Connection 생성 및 실행

# UI에서 "Connections" -> "New connection" 선택
# Source와 Destination 선택
# Sync mode: Full refresh | Incremental (append/deduped)
# Replication frequency: Manual | Cron (예: "0 0 * * *" for daily)
# Namespace: Source schema 이름 정의
# Streams: 동기화할 테이블/스트림 선택

# "Set up connection" 클릭 후 "Sync now"로 첫 동기화 실행

5. 핵심 설정 레퍼런스

6. 실무 팁 & 트러블슈팅

자주 겪는 문제와 해결책