Kafka Streams에 대한 실무 스터디 가이드

1. Kafka Streams란?

Kafka Streams는 Apache Kafka에 내장된 오픈소스 클라이언트 라이브러리로, Kafka 토픽을 입력/출력으로 사용하는 실시간 스트림 처리 애플리케이션을 Java/Scala/Kotlin으로 쉽게 빌드할 수 있게 해줍니다. 별도의 클러스터 관리 없이 Kafka 브로커에 의존해 가볍고 확장 가능하며, exactly-once semantics를 지원합니다.

데이터 엔지니어와 데이터 사이언티스트에게 적합한 이유는 실시간 데이터 파이프라인, ETL, ML 피처 엔지니어링 등에서 Kafka 생태계 내에서 일관되게 처리할 수 있기 때문입니다.

2. 왜 써야 하는가?

Kafka Streams는 기존 배치/스트림 도구 대비 가볍고 Kafka-native라 운영 부담이 적습니다. 아래 표에서 주요 대안과 비교:

실무에서 Kafka Streams는 마이크로서비스 내 스트림 처리에 최적화되어 있습니다.

3. 핵심 개념

Kafka Streams의 핵심은 Topology로, 소스(Source) → 프로세서(Processor) → 싱크(Sink)로 구성됩니다. KStream(무상태 스트림), KTable(업데이트 스트림), GlobalKTable(전역 테이블) 등을 DSL로 조합합니다.

• KStream: 이벤트 스트림, 각 레코드 독립 처리.
• KTable: 키 기반 changelog, 최신 값만 유지.
• State Store: 로컬 RocksDB로 상태 저장, standby replicas로 HA.
• Processor API: DSL 미지원 시 저수준 API.

위 아키텍처에서 Streams 앱은 Kafka 파티션만큼 인스턴스 스케일아웃됩니다.

4. 퀵스타트

Python 우선으로 kafka-python 라이브러리를 사용한 기본 상호작용 예제와 함께, Kafka Streams Java 예제를 병행합니다. Kafka 브로커는 Docker로 빠르게 시작.

Step 1: Kafka 설치 (CLI)

# Docker로 Kafka + Zookeeper 실행 (포트 9092)
docker run -d --name kafka -p 9092:9092 \
  -e KAFKA_ZOOKEEPER_CONNECT=localhost:2181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  confluentinc/cp-kafka:latest

# 토픽 생성
docker exec kafka kafka-topics --create --topic input-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
docker exec kafka kafka-topics --create --topic output-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

Step 2: Python으로 데이터 생산/소비 테스트

# pip install kafka-python
from kafka import KafkaProducer, KafkaConsumer
import json

# Producer
producer = KafkaProducer(bootstrap_servers='localhost:9092', value_serializer=lambda v: json.dumps(v).encode('utf-8'))
for i in range(10):
    producer.send('input-topic', {'word': f'test-{i}'})
producer.flush()

# Consumer
consumer = KafkaConsumer('input-topic', bootstrap_servers='localhost:9092', value_deserializer=lambda m: json.loads(m.value.decode('utf-8')))
for msg in consumer:
    print(msg.value)

Step 3: Kafka Streams Java 프로젝트 설정 (Maven)

<!-- pom.xml -->
<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-streams</artifactId>
  <version>3.6.0</version>
</dependency>

Step 4: 첫 Streams 앱 (WordCount)

import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.*;
import java.util.Arrays;
import java.time.Duration;

Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "wordcount-app");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> textLines = builder.stream("input-topic");

KTable<String, Long> wordCounts = textLines
  .flatMapValues(line -> Arrays.asList(line.toLowerCase().split(" ")))
  .groupBy((key, word) -> word)
  .count();

wordCounts.toStream().to("output-topic", Produced.with(Serdes.String(), Serdes.Long()));

KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();
streams.cleanUp(); // Graceful shutdown

실행: mvn compile exec:java -Dexec.mainClass="WordCountApp". Python으로 input-topic에 데이터 넣으면 output-topic에서 집계 확인.

5. 핵심 설정 레퍼런스

6. 실무 팁 & 트러블슈팅

7. 참고 자료

• 공식 Kafka Streams 문서
• Developer Guide
• Confluent Examples
• kafka-python 라이브러리
• Confluent Kafka Streams 코스