MinT — 수백만 LLM 훈련·서빙 관리 인프라
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
MinT: Managed Infrastructure for Training and Serving Millions of LLMs
MinT는 수백만 개의 LLM을 효율적으로 훈련하고 서빙하기 위해 설계된 관리형 인프라 시스템입니다. 이 시스템은 고비용의 기본 모델 하나를 공유하면서 LoRA 어댑터만을 이동시켜 배포, 업데이트, 평가, 서빙 등의 전 과정을 관리함으로써, 각 정책마다 전체 모델을 새로 생성하는 비효율을 제거합니다.
MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image
MulTaBench는 텍스트와 이미지를 포함하는 멀티모달 테이블 형식 데이터 학습을 평가하기 위한 새로운 벤치마크입니다. 기존 테이블 형식 모델이 텍스트나 이미지에 고정된 임베딩을 사용해 성능이 제한되었던 문제를 지적하며, 작업에 맞게 임베딩을 미세 조정할 때 성능이 향상됨을 보여줍니다.
AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation
AnyFlow는 적은 스텝으로 비디오를 생성하도록 훈련된 기존 확산 모델의 한계를 극복하는 새로운 비디오 생성 모델입니다. 기존 모델과 달리 추론 시 샘플링 스텝 수가 늘어나도 성능 저하가 없으며, 이는 ‘On-Policy Flow Map Distillation’ 기법을 통해 샘플링 스텝 수에 관계없이 높은 품질을 유지하도록 구현했기 때문입니다.
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
이 연구는 긴 컨텍스트를 처리하는 대규모 비전-언어 모델(LVLM)의 효과적인 훈련 방법에 대한 체계적인 분석을 제시합니다. 특히 긴 컨텍스트 데이터 혼합 방식을 중심으로 7B 모델의 컨텍스트 길이를 32K에서 128K까지 성공적으로 확장했으며, 128K를 넘어서는 길이에 대해서도 일반화 성능을 보이는 것을 입증했습니다.
EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents
EVA-Bench는 음성 대화를 통해 과업을 수행하는 음성 에이전트를 종합적으로 평가하기 위한 새로운 엔드투엔드 프레임워크입니다. 기존 벤치마크의 한계였던 비현실적인 시뮬레이션 대화 생성과 음성 고유의 실패 모드 측정 문제를 해결하기 위해, EVA-Bench는 봇끼리의 음성 대화를 통해 현실적인 평가 환경을 구축합니다.
Hugging Face Blog
MinT: Managed Infrastructure for Training and Serving Millions of LLMs
MinT(MindLab Toolkit)는 LoRA 후속 학습과 서빙을 위한 관리형 인프라 시스템으로, 소수의 대규모 기반 모델을 공유하며 수많은 맞춤형 정책을 효율적으로 운영하는 것을 목표로 합니다. 이 시스템은 각 정책을 무거운 전체 모델로 저장하는 대신 가벼운 LoRA 어댑터만 관리하여, 분산 학습과 서빙의 복잡성을 줄이고 모델 배포 및 업데이트 과정을 크게 간소화합니다.
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
이 연구는 긴 컨텍스트 처리 능력이 중요해진 대규모 비전-언어 모델(LVLM)의 효과적인 학습법을 체계적으로 탐구합니다. 특히 긴 컨텍스트 데이터 조합을 설계하고 균형을 맞추는 실용적인 레시피가 부족한 문제를 해결하며, 7B 모델의 컨텍스트 길이를 32K에서 128K까지 확장하는 데 성공했습니다.
EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents
EVA-Bench는 AI 음성 에이전트 평가를 위한 새로운 종단간(end-to-end) 프레임워크로, 현실적인 모의 대화 생성과 음성 고유의 실패 유형 측정이라는 두 가지 핵심 과제를 해결합니다. 이 프레임워크는 봇끼리의 오디오 대화를 통해 시뮬레이션을 진행함으로써, 기존 벤치마크의 한계를 넘어 보다 포괄적이고 정확한 성능 평가를 가능하게 합니다.
토스 기술블로그
AI 시대, 성과 내는 조직일수록 토스식 TPM이 필요한 이유
조직 내 여러 팀이 각자 열심히 일해도 기술과 비즈니스 사이의 회색지대에서 문제가 발생하는 경우가 많습니다. 토스는 기술과 제품, 비즈니스를 모두 이해하는 TPM(Technical Program Manager)을 통해 이러한 문제를 해결하고, 복잡한 AI 시대에 조직의 성공을 이끌고 있습니다.
GitHub Trending
tinyhumansai/openhuman
OpenHuman은 개인화된 AI 슈퍼 인텔리전스를 지향하는 프로젝트입니다. 사용자의 개인정보를 보호하면서도 간단하고 강력한 AI 경험을 제공하는 것을 목표로 합니다.
rohitg00/agentmemory
AgentMemory는 AI 코딩 에이전트를 위한 영속적인 메모리 솔루션을 제공합니다. 실제 세계의 벤치마크를 기반으로 성능을 검증받았으며, AI 에이전트가 작업을 장기간 기억하고 맥락을 유지할 수 있도록 돕습니다.
K-Dense-AI/scientific-agent-skills
Scientific-agent-skills는 바로 사용 가능한 AI 에이전트 기술 모음입니다. 연구, 과학, 엔지니어링, 분석, 금융, 글쓰기 등 다양한 전문 분야에서 활용할 수 있는 기능들을 제공하여 복잡한 작업을 자동화합니다.
shiyu-coder/Kronos
Kronos는 금융 시장의 언어를 이해하기 위해 개발된 파운데이션 모델입니다. 금융 분야의 복잡한 데이터와 텍스트를 분석하고 처리하는 데 특화되어 있어, 시장 예측이나 투자 분석 등에 활용될 수 있습니다.
NVIDIA-AI-Blueprints/video-search-and-summarization
NVIDIA에서 제공하는 이 프로젝트는 GPU 가속 비전 에이전트 및 AI 기반 영상 분석 애플리케이션을 구축하기 위한 참조 아키텍처 모음입니다. 이를 활용하여 대규모 영상 데이터를 효율적으로 검색하고 요약하는 시스템을 개발할 수 있습니다.
오늘의 키워드
LLM LoRA Eval Multimodal RAG Benchmark Distillation Vision Tool Use Agent