MolmoAct2 — 로봇의 real-world 행동추론 모델
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
MolmoAct2: Action Reasoning Models for Real-world Deployment
현재의 시각-언어-행동(VLA) 모델은 현실 세계의 로봇에 적용하기에는 폐쇄적인 구조, 고비용 하드웨어 의존성, 높은 지연 시간 등 여러 한계가 있습니다. MolmoAct2는 이러한 문제들을 해결하고 실용적인 배포를 목표로 개발된 완전한 오픈 소스 행동 추론 모델입니다.
From Context to Skills: Can Language Models Learn from Context Skillfully?
언어 모델이 복잡한 실제 과업을 해결하려면 주어진 컨텍스트로부터 지식을 학습하는 능력이 필수적입니다. 하지만 컨텍스트에서 규칙과 절차를 추출하여 자연어 ‘스킬’로 만드는 과정은 수동 작업 비용이 높고 자동화도 어렵다는 문제에 직면하며, 이 연구는 이를 극복할 방안을 탐구합니다.
ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration
이 논문은 자율적인 연구 수행을 위한 오픈소스 프레임워크 ARIS를 소개합니다. LLM 기반 에이전트 시스템은 장기 연구 과정에서 그럴듯하지만 근거 없는 결론에 도달하는 오류를 범하기 쉬운데, ARIS는 적대적 다중 에이전트 협업 구조를 통해 이러한 문제를 해결하고자 합니다.
OpenSeeker-v2: Pushing the Limits of Search Agents with Informative and High-Difficulty Trajectories
최신 LLM 에이전트의 핵심 역량인 심층 검색 능력 개발은 막대한 자원이 필요하여 주로 거대 기업들이 주도해왔습니다. 하지만 이 연구는 정보가 풍부하고 난이도 높은 궤적 데이터를 활용하면, 단순한 지도 미세조정(SFT)만으로도 놀라울 만큼 효과적인 검색 에이전트를 만들 수 있음을 보여줍니다.
Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL
대규모 멀티모달 모델(LMM)은 보통 지도 미세조정(SFT) 후 강화학습(RL)을 거치지만, SFT 과정에서 모델의 기존 능력이 저하되는 분포 변화 문제가 발생합니다. 이 연구는 강화학습 이전에 ‘사전 정렬’ 단계를 도입하여, 블랙박스 온폴리시 증류 기법으로 이러한 분포 변화 문제를 해결하는 새로운 방법을 제안합니다.
Hugging Face Blog
OpenSeeker-v2: Pushing the Limits of Search Agents with Informative and High-Difficulty Trajectories
최신 LLM 에이전트에게 깊이 있는 검색 능력은 필수적이지만, 개발 과정이 복잡하고 자원이 많이 필요합니다. OpenSeeker-v2는 정보가 풍부하고 난이도 높은 데이터를 활용하면 단순한 지도 미세조정(SFT)만으로도 놀라울 정도로 뛰어난 검색 에이전트를 만들 수 있음을 보여줍니다.
SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
기존 언어 모델은 잘 정리된 의료 사례 진단에는 뛰어나지만, 일반인이 일상에서 호소하는 증상을 평가하는 능력은 검증이 부족했습니다. SymptomAI는 Fitbit 앱을 통해 배포된 대화형 AI 에이전트로, 환자와의 인터뷰부터 감별 진단까지 전 과정을 수행하며 일상적인 증상 평가의 가능성을 탐구합니다.
A Benchmark for Interactive World Models with a Unified Action Generation Framework
범용 인공지능(AGI)을 달성하려면 에이전트가 세상과 상호작용하며 학습해야 하지만, 이러한 물리적 상호작용 능력을 평가할 통합된 벤치마크가 부족했습니다. iWorld-Bench는 거리 인식과 같은 상호작용 관련 능력을 훈련하고 테스트하기 위한 포괄적인 벤치마크를 제안하여, 월드 모델의 성능을 체계적으로 평가할 수 있는 기준을 마련합니다.
오늘의 키워드
Vision Grounding Inference LLM Agent Fine-tuning Multimodal Alignment AI Agent Reasoning