bytedance/UI-TARS-desktop — 오픈소스 멀티모달 AI 에이전트 스택
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction
기존 검색 시스템은 단순한 유사도 기반 검색에 의존하여, AI 에이전트가 필요로 하는 복잡하고 다단계적인 추론 작업을 수행하기 어렵다는 한계가 있습니다. 이 연구는 에이전트가 말뭉치(corpus)와 직접 상호작용하며 어휘 제약 조건 확인이나 가설 검증 같은 정교한 작업을 수행할 수 있는 새로운 검색 패러다임을 제안합니다.
Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning
언어 모델 에이전트가 기존의 성공 전략을 재사용하는 ‘스킬 라이브러리’는 스킬의 선택, 활용, 생성이 분리되어 비효율적으로 운영되는 문제가 있었습니다. 이 논문은 강화학습을 통해 스킬의 선택, 활용, 신규 생성을 하나의 정책으로 통합하여 진화시키는 ‘Skill1’ 프레임워크를 제안하여 에이전트의 능력을 일관되게 발전시킵니다.
Continuous Latent Diffusion Language Model
기존의 자기회귀(autoregressive) 방식 언어 모델은 고정된 순서로 텍스트를 생성하는 한계가 있으며, 대안 모델들은 효율성과 품질을 동시에 잡기 어려웠습니다. 이 연구는 텍스트 생성을 계층적 정보 분해 과정으로 재구성하는 확산 모델 기반의 ‘Cola DLM’을 제안하며, 이를 통해 생성 효율성과 문맥의 전역적 일관성을 모두 높이고자 합니다.
MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction
현재의 멀티모달 대형 언어 모델(MLLM)은 인식과 응답 단계가 분리되어 있어 실시간 상호작용에 한계가 명확합니다. 이 연구는 인식과 응답을 동시에 처리하는 ‘전이중(full-duplex)’ 상호작용을 목표로 하는 ‘MiniCPM-o 4.5’ 모델을 제시하여, 사용자가 말하는 도중에도 모델이 즉각적으로 반응을 수정하는 인간 수준의 소통을 구현하고자 합니다.
MiA-Signature: Approximating Global Activation for Long-Context Understanding
인지 과학에서 영감을 받아, 이 연구는 긴 컨텍스트 내 모든 정보의 전역적인 활성화 상태를 근사하는 압축된 표현인 ‘MiA-Signature’를 제안합니다. 이 기법은 대형 언어 모델이 방대한 정보 속에서 모든 세부사항에 접근하지 않고도 전체적인 맥락과 핵심을 효율적으로 파악하도록 돕습니다.
Hugging Face Blog
Relit-LiVE: Relight Video by Jointly Learning Environment Video
기존 비디오 리라이팅 기술은 장면을 분해하는 과정이 불안정하여 왜곡이나 아티팩트 같은 문제가 자주 발생했습니다. Relit-LiVE는 주변 환경 비디오를 함께 학습하는 새로운 접근법을 통해, 실제 비디오에서도 더 사실적이고 안정적인 조명 변경 효과를 구현합니다.
AI Co-Mathematician: Accelerating Mathematicians with Agentic AI
‘AI 동료 수학자’는 수학자들이 AI 에이전트를 활용하여 개방형 연구를 수행하도록 돕는 새로운 워크벤치입니다. 이 시스템은 아이디어 구상, 문헌 검색, 정리 증명 등 수학 연구의 전 과정에 걸쳐 통합적인 지원을 제공하며, 실패한 가설까지 추적하여 반복적이고 탐색적인 연구 워크플로우를 가속화합니다.
UniPool: A Globally Shared Expert Pool for Mixture-of-Experts
기존 MoE 아키텍처는 각 레이어마다 별도의 전문가 그룹을 할당하여 모델이 깊어질수록 파라미터가 선형적으로 증가하는 비효율이 있었습니다. UniPool은 모든 레이어가 하나의 전문가 풀을 공유하는 ‘전역 공유 전문가 풀’ 개념을 도입하여, 모델의 깊이와 전문가 파라미터 증가의 연관성을 끊고 더 효율적인 모델 구조를 제안합니다.
GitHub Trending
bytedance/UI-TARS-desktop
바이트댄스가 공개한 오픈소스 멀티모달 AI 에이전트 스택입니다. 최신 AI 모델과 에이전트 인프라를 연결하여, 시각 및 언어 등 다양한 데이터를 이해하고 상호작용하는 AI 에이전트를 손쉽게 구축할 수 있도록 지원합니다.
anthropics/financial-services
앤트로픽(Anthropic)이 금융 서비스 분야에서 자사의 AI 모델을 활용하는 방법을 제시하는 프로젝트입니다. 시장 동향 분석, 금융 보고서 요약 등 실제 금융 업무에 적용 가능한 다양한 예제와 가이드를 제공하여 AI 도입을 돕습니다.
addyosmani/agent-skills
AI 코딩 에이전트에게 실제 현업 수준의 소프트웨어 엔지니어링 기술을 부여하기 위한 프로젝트입니다. 단순 코드 생성을 넘어 테스트, 디버깅 등 고품질 소프트웨어 개발에 필수적인 역량을 AI 에이전트가 갖추도록 훈련시키는 방법을 다룹니다.
HKUDS/AI-Trader
AI 에이전트를 기반으로 100% 완전 자동화된 거래를 구현한 트레이딩 시스템입니다. 인간의 개입 없이 AI가 시장 데이터를 분석하고 투자 결정을 내리며, 거래까지 실행하는 전 과정을 자동화하는 것을 목표로 합니다.
jundot/omlx
애플 실리콘(Apple Silicon) 맥을 위한 고성능 LLM 추론 서버입니다. 연속적 배치(Continuous Batching)와 SSD 캐싱 기술로 추론 속도를 높였으며, macOS 메뉴 막대에서 간편하게 서버를 관리할 수 있는 편의성을 제공합니다.
AI Weekly
AI Weekly Issue #491: 100 years from now : The Last Election
‘100년 후의 미래’ 시리즈는 현재 개발 중인 기술이 사회에 완전히 정착했을 때의 삶을 상상해보는 콘텐츠입니다. 이번 호에서는 ‘마지막 선거’라는 주제를 통해, 100년 뒤에는 인류가 더 이상 투표를 하지 않게 될 수도 있는 미래의 모습을 탐구합니다.
오늘의 키워드
Reasoning Retrieval Agent Eval LLM RAG LoRA AI Agent MoE Multimodal