bytedance/UI-TARS-desktop — 오픈소스 멀티모달 AI 에이전트 스택
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Mean Mode Screaming: Mean--Variance Split Residuals for 1000-Layer Diffusion Transformers
수백 개 이상의 레이어로 확장된 Diffusion Transformer(DiT) 모델에서 발생하는 구조적 취약점을 분석합니다. ‘Mean Mode Screaming(MMS)’이라 불리는 이 현상은 모델의 토큰 표현을 획일화시켜 성능 붕괴를 일으키며, 연구진은 이 문제의 발생 원인과 메커니즘을 규명했습니다.
MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation
음악에 맞춰 춤추는 영상을 생성하는 새로운 기술인 MACE-Dance를 제안합니다. 기존 기술들이 음악에 맞는 자연스러운 동작과 고품질 시각 요소를 동시에 구현하는 데 어려움을 겪었던 반면, 이 모델은 동작과 외형 생성을 단계적으로 분리하는 전문가 모델을 활용하여 이 문제를 해결했습니다.
Flow-OPD: On-Policy Distillation for Flow Matching Models
Flow Matching(FM) 기반 텍스트-이미지 생성 모델이 여러 목표를 동시에 학습할 때 발생하는 보상 희소성 및 그래디언트 간섭 문제를 지적합니다. 이 문제를 해결하기 위해 대규모 언어 모델(LLM) 분야에서 성공적으로 사용된 On-Policy Distillation(OPD) 기법을 최초로 도입한 통합 후처리 프레임워크 Flow-OPD를 제안하여 모델 성능의 불안정성을 개선했습니다.
HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents
기존의 멀티모달 검색 에이전트가 정보를 순차적으로 처리하여 비효율적이었던 문제를 해결하기 위해 병렬 검색 방식을 제안합니다. HyperEyes라는 새로운 에이전트는 한 번의 상호작용으로 여러 개의 쿼리를 동시에 처리함으로써, 더 깊게가 아닌 더 넓게 탐색하여 검색 효율성을 크게 향상시킵니다.
LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
추론 시간에 추가 연산을 할당하여 LLM 성능을 높이는 기존의 테스트 시간 스케일링(TTS) 방식은 대부분 수작업으로 설계되어 비효율적이었습니다. 이 연구는 LLM 에이전트가 스스로 최적의 TTS 전략을 발견하도록 하는 자동화 프레임워크 AutoTTS를 제안하여, 개발자가 직접 전략을 설계하는 대신 최적의 전략을 찾을 수 있는 ‘환경’을 설계하도록 패러다임을 전환합니다.
Hugging Face Blog
LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
기존의 LLM 성능 향상 기법인 테스트 시간 스케일링(TTS)은 연구자가 직접 추론 패턴을 설계해야 하는 수동적 한계가 있었습니다. 이 논문은 LLM 에이전트가 최적의 연산 자원 분배 전략을 스스로 탐색하고 발견하는 환경을 설계하는 새로운 프레임워크 ‘AutoTTS’를 제안하여, 수동 설계의 한계를 극복하고 더 효율적인 TTS 전략을 자동으로 찾아냅니다.
Normalizing Trajectory Models
기존 디퓨전 모델은 생성 단계를 줄일 경우 성능이 저하되고 우도(likelihood) 학습이 어려운 한계가 있었습니다. 이 연구는 각 생성 단계를 정규화 흐름(normalizing flow)으로 모델링하는 ‘정규화 궤적 모델(NTM)’을 제안하여, 적은 단계만으로도 정확한 우도 학습을 가능하게 함으로써 기존의 문제를 해결합니다.
Conformal Path Reasoning: Trustworthy Knowledge Graph Question Answering via Path-Level Calibration
기존 지식 그래프 질의응답(KGQA) 시스템은 답변의 신뢰도를 보장하기 어려웠습니다. 이 연구는 통계적 신뢰도를 보장하는 등각 예측(Conformal Prediction) 기법을 추론 경로 수준에서 적용하는 새로운 방법을 제안하여, 기존보다 더 정확한 보정을 통해 신뢰도 높은 답변 집합을 생성합니다.
GitHub Trending
bytedance/UI-TARS-desktop
바이트댄스가 공개한 오픈소스 멀티모달 AI 에이전트 스택입니다. 이 프로젝트는 최신 AI 모델과 에이전트 인프라를 연결하여 강력한 AI 애플리케이션 개발을 지원합니다.
yikart/AiToEarn
AI 기술을 활용하여 수익을 창출하는 다양한 방법을 모아놓은 프로젝트입니다. 사용자들이 인공지능을 통해 경제적 이익을 얻을 수 있도록 돕는 것을 목표로 합니다.
decolua/9router
다양한 AI 코딩 도구를 40개 이상의 무료 LLM 제공업체에 연결해주는 라우터입니다. 자동 대체 기능과 토큰 사용량 최적화를 통해 사용량 제한 없이 무료로 AI 코딩 지원을 받을 수 있게 해줍니다.
tinyhumansai/openhuman
개인용 AI 슈퍼 인텔리전스를 구축하기 위한 오픈소스 프로젝트입니다. 개인 정보 보호에 중점을 두면서도 간단하고 강력한 개인 맞춤형 AI 비서 개발을 목표로 합니다.
Lordog/dive-into-llms
대규모 언어 모델(LLM)을 직접 만들어보며 학습할 수 있는 프로그래밍 실습 튜토리얼 시리즈입니다. 이론부터 실제 코드 구현까지 다루어 사용자가 LLM의 작동 원리를 깊이 있게 이해하도록 돕습니다.
AI Weekly
AI Weekly Issue #491: 100 years from now : The Last Election
‘100년 후의 오늘’은 현재 개발 중인 기술이 미래 사회에 완전히 정착했을 때의 모습을 상상해보는 주간 시리즈입니다. 이번 호에서는 AI와 같은 첨단 기술이 인류의 민주적 절차인 선거를 어떻게 근본적으로 바꾸고, 어쩌면 ‘마지막 선거’라는 개념을 현실로 만들 수 있을지에 대한 흥미로운 질문을 던집니다.
오늘의 키워드
Transformer Audio Distillation Alignment Multimodal Grounding Retrieval Agent Eval LLM