Milvus 실무 스터디 가이드

1. Milvus란?

Milvus는 대규모 벡터 데이터를 저장, 관리, 검색하기 위해 설계된 오픈소스 벡터 데이터베이스입니다. AI 애플리케이션(유사성 검색, 추천 시스템, 멀티모델 검색 등)의 핵심 인프라 역할을 합니다.

2. 왜 써야 하는가?

AI 애플리케이션에서 벡터 검색을 구현할 때 고려할 수 있는 대안들과 Milvus의 비교입니다.

3. 핵심 개념

아키텍처 다이어그램 (Standalone 모드)

• Collection: 벡터와 메타데이터를 저장하는 테이블 개념. RDBMS의 테이블과 유사합니다.
• Partition: Collection 내의 데이터 분할 단위. 성능과 관리 효율성을 위해 사용합니다.
• Entity: 하나의 벡터와 그에 연결된 메타데이터(속성)를 포함하는 단일 데이터 포인트.
• Index: 벡터 검색 속도를 높이는 알고리즘 구조 (HNSW, IVF_FLAT 등). Collection 별로 생성합니다.
• Metric: 벡터 간 유사성을 계산하는 방법 (L2, IP, Cosine 등).
• Coordinator/Worker: 분산 아키텍처에서 관리(Coordinator)와 실행(Worker) 역할을 분리합니다.

4. 퀵스타트

Standalone 모드로 빠르게 시작하는 단계별 가이드입니다.

1. 설치 (Docker)

   # Milvus Standalone Docker 이미지 pull 및 실행
   docker pull milvusdb/milvus:latest
   docker run -d \
     --name milvus-standalone \
     -p 19530:19530 \
     -p 9091:9091 \
     milvusdb/milvus:latest

   포트 19530(GRPC)과 9091(HTTP)이 열립니다.

2. Python 클라이언트 설치 및 연결

   # pymilvus 설치
   pip install pymilvus
   
   # Python 연결 코드
   from pymilvus import connections, Collection, FieldSchema, CollectionSchema, DataType
   
   # Milvus 서버 연결
   connections.connect(
     alias="default",
     host='localhost',
     port='19530'
   )
   print("Connected to Milvus.")

3. 첫 Collection 생성 및 데이터 삽입

   # 1. 필드 정의 (ID, 벡터, 속성)
   fields = [
     FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
     FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128),
     FieldSchema(name="category", dtype=DataType.VARCHAR, max_length=100)
   ]
   
   # 2. Collection Schema 생성
   schema = CollectionSchema(fields=fields, description="첫 번째 예제 컬렉션")
   
   # 3. Collection 생성
   collection_name = "demo_collection"
   collection = Collection(name=collection_name, schema=schema)
   
   # 4. 데이터 삽입 (벡터 + 메타데이터)
   import random
   data = [
     [i for i in range(10)],  # id 리스트
     [[random.random() for _ in range(128)] for _ in range(10)],  # 10개의 128차원 벡터
     ["cat", "dog", "bird", "cat", "dog", "bird", "cat", "dog", "bird", "cat"]  # 속성
   ]
   collection.insert(data)
   print(f"Inserted {len(data[0])} entities.")
   
   # 5. 인덱스 생성 (HNSW 사용)
   index_params = {
     "index_type": "HNSW",
     "metric_type": "L2",
     "params": {"M": 16, "efConstruction": 200}
   }
   collection.create_index("embedding", index_params)
   print("Index created.")

4. 검색 실행 (하이브리드 쿼리)

   # Collection 로드 (인덱싱 후 필수)
   collection.load()
   
   # 검색 벡터 준비
   search_vector = [[random.random() for _ in range(128)]]
   
   # 검색 파라미터 설정
   search_params = {"metric_type": "L2", "params": {"ef": 50}}
   
   # 하이브리드 쿼리: 벡터 검색 + 속성 필터링
   results = collection.search(
     data=search_vector,
     anns_field="embedding",
     param=search_params,
     limit=5,
     expr="category == 'cat'",  # 메타데이터 필터링 표현식
     output_fields=["id", "category"]  # 반환 필드 지정
   )
   
   for hits in results:
       for hit in hits:
           print(f"id: {hit.entity.id}, category: {hit.entity.category}, distance: {hit.distance}")

5. 핵심 설정 레퍼런스

Standalone 및 Cluster 모드의 주요 구성 옵션입니다.

6. 실무 팁 & 트러블슈팅

7. 참고 자료

• 📘 Milvus 공식 문서 - 가장 정확하고 최신의 정보원
• 🔨 Milvus GitHub 레포지토리 - 소스코드, 이슈, 컨트리뷰션
• 🛠 API 레퍼런스 - Python/Java/Go 등 클라이언트 SDK
• 📢 Milvus 기술 블로그 - 실무 사례, 성능 튜닝, 새 기능 소개
• 🧠 벡터 데이터베이스 개념 설명 - 기초 개념 학습