Apache Beam 실무 스터디 가이드

1. Apache Beam이란?

Apache Beam은 배치(batch)와 스트리밍(stream) 데이터 처리를 통합적으로 지원하는 오픈 소스 통합 프로그래밍 모델입니다. Google의 Dataflow SDK에서 시작되어 Apache 프로젝트로 발전했습니다. Beam을 사용하면 한 번의 코드로 다양한 실행 환경(Runner)에서 파이프라인을 실행할 수 있습니다.

주요 특징은 언어 독립성, 런너 포터빌리티, 통합 처리(unified processing)입니다. 데이터 엔지니어와 데이터 사이언티스트가 대규모 데이터 ETL, 실시간 분석, ML 파이프라인을 구축할 때 필수적입니다.

2. 왜 써야 하는가?

전통적인 도구들은 배치(Spark)와 스트리밍(Flink)을 별도로 관리해야 하지만, Beam은 통합합니다. 비용 효율적이고 유지보수가 쉽습니다.

3. 핵심 개념

Beam의 세계관은 Pipeline → PCollection → Transform → Runner로 구성됩니다.

주요 개념

• Pipeline: 데이터 흐름의 뼈대. with_options()로 설정.
• PCollection: 분산 컬렉션. 읽기/쓰기/I/O로 생성.
• Transforms: ParDo(맵), GroupByKey(그룹), Window(시간 윈도우).
• Runner: DirectRunner(테스트), DataflowRunner(프로덕션).
• Windowing & Triggering: 스트리밍에서 Late Data 처리.

아키텍처 다이어그램 (ASCII)

위 다이어그램에서 Pipeline은 논리적 그래프, Runner가 물리적 실행을 담당합니다.

4. 퀵스타트

1. 설치

pip install apache-beam[interactive]  # 로컬 테스트용
pip install apache-beam[gcp]  # Google Cloud용

2. 첫 예제: WordCount (Batch)

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (
        pipeline
        | 'Read' >> beam.io.ReadFromText('input.txt')
        | 'FindWords' >> beam.FlatMap(lambda line: line.split())
        | 'PairWords' >> beam.Map(lambda word: (word, 1))
        | 'Group' >> beam.CombinePerKey(sum)
        | 'Format' >> beam.Map(lambda word_count: f"{word_count[0]}: {word_count[1]}")
        | 'Write' >> beam.io.WriteToText('output')
    )

3. CLI로 실행 (DirectRunner)

python -m your_pipeline \
  --input=gs://bucket/input.txt \
  --output=gs://bucket/output \
  --runner=DirectRunner

4. 스트리밍 예제 (Pub/Sub → BigQuery)

options = beam.options.pipeline_options.PipelineOptions(
    flags=[
        '--runner=DataflowRunner',
        '--project=your-project',
        '--region=us-central1',
        '--streaming'
    ])

with beam.Pipeline(options=options) as p:
    (p
     | 'ReadPubSub' >> beam.io.ReadFromPubSub(topic='projects/.../topics/your-topic')
     | 'ParseJSON' >> beam.Map(lambda x: json.loads(x))
     | 'Window' >> beam.WindowInto(beam.window.FixedWindows(60))
     | 'Group' >> beam.GroupByKey()
     | 'WriteBQ' >> beam.io.WriteToBigQuery('project:dataset.table'))
p.run()

5. 핵심 설정 레퍼런스

6. 실무 팁 & 트러블슈팅

팁

• DoFn에서 side input 사용: 대용량 룩업 테이블 처리.
• CombineFn 커스텀: 집계 로직 최적화.
• 테스트: beam.testing.TestPipeline 사용.
• 모니터링: Dataflow 콘솔에서 워커 로그 확인.

자주 겪는 문제

실무에서 80% 문제는 권한/스토리지 설정입니다.

7. 참고 자료

• 공식 사이트
• 프로그래밍 가이드
• Python Quickstart
• Google Dataflow Docs
• Dataflow Runner
• GitHub: apache/beam