ELK Stack 실무 스터디 가이드

1. ELK Stack란?

ELK Stack은 Elasticsearch, Logstash, Kibana 세 오픈소스 도구의 앞글자를 딴 로그 및 데이터 분석 플랫폼입니다. 최근에는 Beats 계열 경량 수집기도 포함하여 Elastic Stack으로 불리기도 합니다.

ELK는 대규모 로그, 메트릭, 보안 이벤트 등을 실시간으로 수집 · 저장 · 검색 · 시각화하여 인프라 및 애플리케이션의 observability를 확보하는 데 핵심적인 역할을 합니다.

3대 핵심 능력

2. 왜 써야 하는가?

전통적인 RDBMS 기반 로깅이나 단순 파일 분석과 비교했을 때 ELK Stack이 제공하는 장점은 명확합니다. 아래 표는 주요 대안과의 차이를 보여줍니다.

3. 핵심 개념

ELK Stack의 데이터 흐름은 수집 → 처리 → 저장 → 시각화의 단계로 이루어집니다. 아래 다이어그램은 전체 아키텍처를 단순화하여 나타냅니다.

주요 용어

• Index : Elasticsearch의 데이터 저장 단위 (RDB의 데이터베이스와 유사)
• Shard : Index를 분할한 물리적 파티션, 수평 확장의 기본 단위
• Document : JSON 형태의 개별 레코드
• Pipeline : Logstash에서 데이터를 입력 → 필터 → 출력하는 처리 흐름
• Beat : 경량 데이터 수집 에이전트 (Filebeat, Metricbeat, Packetbeat 등)

4. 퀵스타트

Docker Compose를 사용하면 로컬 환경에서 ELK Stack을 빠르게 구성할 수 있습니다. 아래 단계를 따라 해보세요.

Step 1: 설치 (Docker Compose)

# docker-compose.yml (최소 구성)
version: '3.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.0
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
    ports:
      - "9200:9200"
  logstash:
    image: docker.elastic.co/logstash/logstash:8.15.0
    ports:
      - "5000:5000"
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
  kibana:
    image: docker.elastic.co/kibana/kibana:8.15.0
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - "5601:5601"

# 실행
docker compose up -d

Step 2: Logstash 설정 (logstash.conf)

input {
  tcp {
    port => 5000
    codec => json
  }
}
filter {
  mutate { remove_field = ["@version"] }
}
output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "quickstart-%{+YYYY.MM.dd}"
  }
}

Step 3: Python으로 데이터 전송

아래 Python 코드를 실행하여 Logstash로 JSON 로그를 전송하면 Elasticsearch에 색인됩니다.

import socket
import json
import time

HOST = 'localhost'
PORT = 5000

log_data = {
    "timestamp": time.strftime("%Y-%m-%dT%H:%M:%S"),
    "level": "INFO",
    "service": "web-app",
    "message": "User login successful",
    "user_id": 12345
}

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect((HOST, PORT))
    s.sendall(json.dumps(log_data).encode('utf-8'))
    print("Log sent!")

Step 4: Kibana에서 확인

# 브라우저에서 http://localhost:5601 접속
# Stack Management → Index Patterns → "quickstart-*" 생성
# Discover 메뉴에서 전송된 로그 검색

5. 핵심 설정 레퍼런스

다음 표는 Elasticsearch, Logstash, Kibana에서 자주 사용되는 설정 항목을 요약합니다.

6. 실무 팁 & 트러블슈팅

운영 환경에서 자주 겪는 문제와 해결 방법을 정리했습니다.

🔴 문제: Elasticsearch 노드가 노란색/빨간색 상태

🔴 문제: Logstash에서 데이터가 Elasticsearch로 전송되지 않음

🔴 문제: Kibana 대시보드 로딩 속도 느림

7. 참고 자료

공식 문서와 유용한 리소스입니다.

• Elasticsearch 공식 문서
• Logstash 공식 문서
• Kibana 공식 문서
• Filebeat 공식 문서
• Elastic Examples (GitHub)