Delta Lake 실무 스터디 가이드

1. Delta Lake란?

Delta Lake는 데이터 레이크 위에 ACID 트랜잭션, 스키마 관리, 데이터 버전 관리(타임 트래블) 기능을 제공하는 오픈 소스 스토리지 레이어입니다. Parquet, ORC 같은 오픈 포맷을 기반으로 하며, Apache Spark, Trino, Flink 등과 통합되어 기존 데이터 파이프라인을 신뢰성 있는 Lakehouse 아키텍처로 전환하는 핵심 기술입니다.

2. 왜 써야 하는가?

기존 데이터 레이크(RAW S3/GCS + Parquet)는 유연하지만 데이터 품질, 일관성, 업데이트/삭제 작업에서 한계가 있었습니다. Delta Lake는 이를 해결하며 데이터 웨어하우스 수준의 관리 기능을 제공합니다.

3. 핵심 개념

아키텍처 다이어그램

주요 컴포넌트

• Delta Log: 모든 트랜잭션을 순차적으로 기록하는 싱글 소스의 트루스. JSON 파일로 저장되며, 테이블의 현재 상태(메타데이터, 파일 목록)를 정의합니다.
• Checkpoint: 주기적으로 생성되는 Parquet 형식의 체크포인트 파일로, 전체 로그를 재처리하지 않고 빠르게 테이블 상태를 로드할 수 있게 합니다.
• Vacuum: 더 이상 참조되지 않는 오래된 데이터 파일을 삭제하여 스토리지 비용을 절감하는 명령어. 기본 보존 기간은 7일입니다.
• Z-Ordering: 관련된 데이터를 물리적으로 함께 배치하여 쿼리 성능을 최적화하는 기술입니다.

4. 퀵스타트

4.1 설치 및 설정 (PySpark)

# PySpark 셸 또는 노트북에서
# Delta Lake 패키지 지정 (Spark 3.x 이상)
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DeltaQuickstart") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 또는 spark-submit 시 패키지 추가
# --packages io.delta:delta-core_2.12:3.1.0

4.2 첫 Delta 테이블 생성 및 쓰기

# 샘플 데이터 생성
data = [(1, "Alice", "Seoul", 1000),
        (2, "Bob", "Busan", 2000),
        (3, "Charlie", "Incheon", 1500)]
columns = ["id", "name", "city", "amount"]

df = spark.createDataFrame(data, columns)

# Delta 형식으로 저장 (디렉토리 생성)
delta_path = "s3a://my-bucket/delta/demo_table"  # 또는 "file:///tmp/delta_demo"
df.write.format("delta").mode("overwrite").save(delta_path)

print(f"Delta 테이블 생성 완료: {delta_path}")

4.3 읽기, 업데이트, 타임 트래블

# 읽기
df_read = spark.read.format("delta").load(delta_path)
df_read.show()

# 업데이트 (SQL)
from delta.tables import DeltaTable
delta_table = DeltaTable.forPath(spark, delta_path)

# 조건부 업데이트
delta_table.update(
    condition = "city = 'Seoul'",
    set = { "amount": "amount + 100" }
)

# 머지(Upsert) 작업
new_data = spark.createDataFrame([(4, "David", "Daegu", 3000), (1, "Alice", "Seoul", 1200)], columns)
delta_table.alias("target").merge(
    new_data.alias("source"),
    "target.id = source.id"
).whenMatchedUpdateAll() \
 .whenNotMatchedInsertAll() \
 .execute()

# 타임 트래블 (이전 버전 조회)
df_history = spark.read.format("delta").option("versionAsOf", 0).load(delta_path)
print("초기 버전 데이터:")
df_history.show()

4.4 메타데이터 및 유지 관리

# 테이블 히스토리 확인
delta_table.history().show(truncate=False)

# 상세 정보
spark.sql(f"DESCRIBE DETAIL delta.`{delta_path}`").show(truncate=False)

# 오래된 파일 정리 (7일 이전 파일 삭제, dry-run 먼저 실행 권장)
delta_table.vacuum(retentionHours=168)  # 7일
# delta_table.vacuum(retentionHours=168, dryRun=True)  # 실제 삭제 전 확인

5. 핵심 설정 레퍼런스

# 테이블 생성 시 설정 지정
df.write.format("delta") \
  .option("delta.autoOptimize.optimizeWrite", "true") \
  .option("delta.logRetentionDuration", "interval 60 days") \
  .save("/path/to/table")

# 기존 테이블 설정 변경 (Spark SQL)
spark.sql("""
ALTER TABLE my_delta_table
SET TBLPROPERTIES (
  'delta.deletedFileRetentionDuration' = 'interval 15 days',
  'delta.autoOptimize.autoCompact' = 'true'
)
""")

6. 실무 팁 & 트러블슈팅

# 1. OPTIMIZE 명령으로 파일 컴팩션
spark.sql("OPTIMIZE delta.`/path/to/table`")

# 2. Z-Ordering으로 데이터 클러스터링 (자주 함께 필터링하는 컬럼 기준)
spark.sql("OPTIMIZE delta.`/path/to/table` ZORDER BY (date, user_id)")

# 3. 쓰기 시 자동 최적화 활성화 (테이블 속성 설정)
spark.sql("""
ALTER TABLE my_table SET TBLPROPERTIES (
  'delta.autoOptimize.autoCompact' = 'true',
  'delta.autoOptimize.optimizeWrite' = 'true'
)
""")

# 안전한 VACUUM 실행
delta_table.vacuum(retentionHours=168, dryRun=True)  # 먼저 확인
delta_table.vacuum(retentionHours=168)               # 실제 실행

# 스키마 진화 활성화하여 쓰기
new_df.write.format("delta") \
  .mode("append") \
  .option("mergeSchema", "true") \  # 스키마 진화 활성화
  .save("/path/to/table")

# 또는 테이블 수준에서 자동 병합 활성화
spark.sql("""
ALTER TABLE my_table SET TBLPROPERTIES (
  'spark.databricks.delta.schema.autoMerge.enabled' = 'true'
)
""")

7. 참고 자료

• 📘 Delta Lake 공식 문서 - 최신 API 및 개념 설명
• 🐙 Delta Lake GitHub 레포지토리 - 소스 코드, 이슈, 컨트리뷰션
• 🔧 SQL 명령어 레퍼런스 - OPTIMIZE, VACUUM, HISTORY 등
• 📖 트랜잭션 로그 심층 분석 (Databricks 블로그)
• 🎓 Delta Lake 학습 페이지 - 튜토리얼 및 웨비나
• 도서: "Data Lakehouse in Action" (Manning), "Spark: The Definitive Guide" - Delta Lake 관련 챕터 참고