commaai/openpilot — 300종 이상 차량 지원 로보틱스 OS

2026년 06월 28일 · #AI #LLM #트렌드 #기술블로그

arXiv 논문

Are We Ready For An Agent-Native Memory System?

모델/아키텍처 추론/검색 에이전트 개발 도구

#RAG #Eval

LLM 에이전트의 메모리 시스템은 복잡하게 발전했지만, 평가는 여전히 최종 과업 성공률에만 의존하여 시스템 자체를 블랙박스로 취급하고 있습니다. 이 연구는 메모리 시스템의 저장, 검색, 업데이트 등 개별 구성 요소의 성능을 직접 측정하고 분석하는 새로운 평가 방식의 필요성을 제기하며, 이를 통해 에이전트의 근본적인 한계를 파악해야 한다고 주장합니다.

OpenDataBox/awesome-agent-memory · ★ 16 104

DanceOPD: On-Policy Generative Field Distillation

학습/최적화

#Distillation

최신 이미지 생성 모델은 텍스트-이미지 변환, 부분 편집, 전체 편집 등 다양한 기능을 통합해야 하지만, 이 기능들이 서로 충돌하여 성능을 저하시키는 문제가 있습니다. 이 문제를 해결하기 위해 연구진은 서로 다른 기능들이 조화롭게 작동하도록 훈련시키는 새로운 기법인 DanceOPD를 제안하여, 여러 능력을 효과적으로 통합하는 모델을 구현했습니다.

DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation

개발 도구

특정 피사체를 중심으로 텍스트-비디오를 생성하는 기존 기술은 피사체의 특징을 그대로 유지하거나 새로운 맥락에 맞게 유연하게 바꾸는 두 가지 시나리오를 동시에 만족시키기 어려웠습니다. 이 연구는 ‘DomainShuttle’이라는 새로운 방법을 제안하여, 피사체의 고유한 특징을 보존하면서도 텍스트 프롬프트에 따라 자유롭게 스타일을 변경하는 고품질 비디오 생성을 가능하게 합니다.

ShutterMuse: Capture-Time Photography Guidance with MLLMs

모델/아키텍처 개발 도구

#Eval

기존의 사진 보정 AI는 주로 촬영 후 구도를 추천하는 데 초점을 맞추고 있어, 촬영 순간에 실시간으로 구도나 피사체 포즈를 안내하는 기능은 부족했습니다. 이 연구는 다중모달 대형 언어 모델(MLLM)을 활용하여 촬영자에게는 구도를, 피사체에게는 포즈를 실시간으로 제안하는 ‘ShutterMuse’ 기술과 이를 평가하기 위한 새로운 벤치마크를 소개합니다.

In-Context World Modeling for Robotic Control

모델/아키텍처 학습/최적화

#VLM #VLA #World Model

현재의 시각-언어-행동(VLA) 로봇 제어 모델은 카메라 위치나 로봇 형태가 훈련 환경과 조금만 달라져도 일반화에 실패하는 경향이 있습니다. 이 연구는 로봇이 새로운 물리적 환경 변화에 즉각적으로 적응할 수 있도록 돕는 ‘In-Context World Modeling’ 기법을 제안하여, 매번 재학습할 필요 없이 유연하게 대처하도록 합니다.

Hugging Face Blog

DanceOPD: On-Policy Generative Field Distillation

학습/최적화

#Distillation

현대 이미지 생성 모델은 텍스트-이미지 변환, 부분 편집, 전체 편집 등 다양한 기능을 통합해야 하지만, 이 기능들은 서로 충돌하는 경향이 있습니다. DanceOPD는 이러한 상충하는 기능들을 효과적으로 조합하여 학습시키는 새로운 방법을 제시함으로써 이 문제를 해결합니다.

Wei Zhou, Xiongwei Zhu, Zelin Xu

PhysiFormer: Learning to Simulate Mechanics in World Space

모델/아키텍처

#Transformer #Diffusion #World Model

PhysiFormer는 물리적으로 타당한 3D 객체의 움직임을 시뮬레이션하는 새로운 확산 트랜스포머 모델입니다. 기존 모델들이 픽셀 공간에서 작동하는 것과 달리, PhysiFormer는 월드 좌표계의 3D 메시를 직접 사용하여 객체의 초기 상태와 재질을 바탕으로 미래의 궤적을 예측합니다.

Yiming Chen, Yushi Lan, Andrea Vedaldi

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

모델/아키텍처 개발 도구

#Eval

대부분의 통합 대형 멀티모달 모델(LMM)은 시각적 이해와 이미지 생성 능력을 향상시키기 위해 인간의 주석이나 외부 보상 모델에 의존합니다. 이 연구는 레이블이 없는 이미지만을 사용하여 모델 스스로 질문하고, 해결하며, 생성하는 세 가지 내부 역할을 통해 자율적으로 발전하는 새로운 자기 진화 학습 프레임워크를 제안합니다.

Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar

xbtlin/ai-berkshire

모델/아키텍처 에이전트 개발 도구

#Multi-Agent #AI Coding

AI 시대의 버크셔 해서웨이를 표방하는 가치 투자 연구 프레임워크입니다. 워런 버핏 등 4명의 투자 대가들의 방법론을 Claude Code 기반으로 구현했으며, 여러 AI 에이전트가 병렬적으로 협력하여 투자 대상을 분석합니다.

686 today