mlx-vlm — Apple MLX로 Mac에서 굴리는 VLM 패키지

2026년 04월 05일 · #AI #LLM #트렌드 #기술블로그

arXiv 논문

모델/아키텍처

이 논문은 LLM 학습 시 데이터를 효율적으로 선택하고 가중치를 조정할 수 있는 통합 프레임워크인 DataFlex를 제안합니다. 기존의 파편화된 데이터 처리 방식을 하나로 묶어 모델 훈련의 재현성과 효율성을 크게 높여줍니다.

언어 모델의 핵심 기반으로 떠오르고 있는 잠재 공간(Latent space)의 진화와 작동 원리를 깊이 있게 분석한 논문입니다. 토큰 단위의 생성 방식이 가진 한계를 극복하고, 모델 내부의 복잡한 연산을 연속적인 공간에서 더 효율적으로 처리하는 방법을 다룹니다.

학습/최적화

고사양 AAA 게임에서 추출한 400만 프레임 규모의 방대한 동적 렌더링 데이터셋을 새롭게 소개합니다. 기존 합성 데이터셋이 가진 현실감과 시간적 일관성의 한계를 극복하여, 더욱 정교한 그래픽 렌더링 연구를 가능하게 돕습니다.

모델/아키텍처 추론/검색 에이전트 개발 도구

LLM 에이전트가 외부 도구나 스킬을 매번 불러오는 대신, 모델 파라미터 자체에 스킬을 내재화하는 새로운 강화학습 방법을 제안합니다. 이를 통해 불필요한 토큰 낭비를 줄이고 모델이 진짜 지식을 습득하도록 이끌어줍니다.

모델/아키텍처 추론/검색 개발 도구

Vision Transformer 모델들이 이미지 내의 너무 뚜렷한 객체에만 집중하는 문제를 해결하기 위한 연구입니다. 텍스트 프롬프트를 활용해 덜 눈에 띄는 세부적인 시각적 요소들까지 정확하게 포착하도록 모델을 유도하는 방법을 제안합니다.

학습/최적화

고해상도 AAA 게임 화면을 활용해 만든 400만 프레임 규모의 대형 동적 데이터셋입니다. 기존 합성 데이터의 부족한 현실감을 채워주어, 보다 자연스럽고 정교한 AI 렌더링 모델을 학습시킬 수 있습니다.

Zheng-Hui Huang, Zhixiang Wang, Jiaming Tan

모델/아키텍처 추론/검색 개발 도구

이미지 내의 너무 눈에 띄는 객체에만 집중하는 Vision Transformer의 한계를 극복하는 새로운 방법론입니다. 텍스트 프롬프트를 통해 모델이 덜 부각되는 시각적 개념에도 집중하도록 자연스럽게 유도할 수 있습니다.

Jona Ruthardt, Manu Gaur, Deva Ramanan

LLM Synthetic Data Retrieval Agent Eval Prompt Vision Fine-tuning Inference AI Agent