AI Tech - 2026-05-29

2026년 05월 29일 · #AI #LLM #트렌드 #기술블로그

arXiv 논문

ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation

능동형 추천 시스템(PRS)은 강화학습을 활용하여 사용자의 선호도를 목표 아이템으로 유도하는 순차적 추천 경로를 최적화합니다. 하지만 기존 정책 경사도 방식은 그래디언트 추정에 결함이 있었으며, 이 논문은 이를 해결하기 위해 보정된 정책 경사도 추정 기법인 ProRL을 제안하여 추천 성능을 효과적으로 향상시켰습니다.

Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

모델/아키텍처 학습/최적화 추론/검색 에이전트

#VLM #LoRA #Tool Use

외부 도구를 사용하는 멀티모달 에이전트는 내부 추론과 도구 사용 간의 구조적 비대칭성, 즉 ‘사고-행동 격차(Thinking-Acting Gap)’라는 문제에 직면합니다. 이 논문은 기존 강화학습 방식이 이 격차로 인해 겪는 훈련 불안정성을 지적하고, 이를 해결하기 위해 에이전트 탐색 정책 최적화(AEPO)라는 새로운 방법을 제안하여 에이전트의 추론 능력을 향상시킵니다.

Self-Improving Language Models with Bidirectional Evolutionary Search

학습/최적화 추론/검색 에이전트

#LoRA

기존 언어 모델의 자기 개선 방법들은 희소한 검증 신호에 의존하고 자기회귀적 확장에만 국한되어 탐색 범위가 제한되는 근본적인 한계를 가집니다. 이 논문은 이러한 문제를 해결하기 위해 양방향 진화 탐색(BiGS) 기법을 제안하여, 모델의 확률 분포에 얽매이지 않고 더 넓은 영역을 탐색하며 후보군을 생성 및 개선함으로써 모델의 성능을 스스로 향상시킵니다.

DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes

모델/아키텍처

#Reasoning Model

대규모 언어 모델의 추론 능력을 강화학습으로 향상시키기 위해서는 보통 더 뛰어난 교사 모델이나 정제된 데이터셋이 필요하다는 한계가 있습니다. 이 논문은 외부의 강력한 감독 없이도 약한 모델 스스로가 생성한 오류로부터 복구하도록 최적화하는 DenoiseRL 프레임워크를 제안하여, 확장 가능한 방식으로 모델의 추론 능력을 부트스트래핑합니다.

GEM: Generative Supervision Helps Embodied Intelligence

모델/아키텍처

#VLM #VLA

로보틱스에 활용되는 체화된 비전-언어 모델(Embodied VLM)은 높은 수준의 텍스트 이해 능력과 실제 실행에 필요한 낮은 수준의 물리적 지식 사이에 상당한 격차를 보입니다. 이 논문은 생성적 감독(Generative Supervision)을 활용하여 이러한 격차를 해소하는 GEM 모델을 제안하며, 이를 통해 모델이 물리적 세계에 대한 깊은 이해를 갖추고 실행 능력을 향상시키도록 돕습니다.

Hugging Face Blog

Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

에이전트

#Multi-Agent

기존의 비디오 생성 월드 모델이 주로 단일 에이전트 환경에 집중했던 것과 달리, ‘감마-월드(Gamma-World)’는 여러 플레이어나 로봇이 동시에 상호작용하는 다중 에이전트 환경을 모델링합니다. 이 모델은 각 에이전트를 독립적으로 제어하면서도 효율적인 추론이 가능하도록 설계되어, 두 명을 초과하는 복잡한 상호작용 세계를 생성할 수 있습니다.

Fangfu Liu, Kai He, Tianchang Shen

From Pixels to Words -- Towards Native One-Vision Models at Scale

모델/아키텍처 신뢰성/안전 추론/검색

#VLM #Alignment #RAG

기존의 시각-언어 모델(VLM)은 이미지와 언어 모델을 별도로 결합하여 정보가 단편화되는 한계가 있었습니다. ‘NEO-ov’는 픽셀과 단어를 처음부터 함께 학습하는 새로운 네이티브 파운데이션 모델로서, 여러 이미지나 비디오를 통합적으로 이해하는 능력을 크게 향상시킵니다.

Haiwen Diao, Jiahao Wang, Penghao Wu

Self-Improving Language Models with Bidirectional Evolutionary Search

학습/최적화 추론/검색 에이전트

#LoRA

기존 언어 모델의 자기 개선 방식은 탐색 범위가 좁고 희소한 신호에 의존하는 한계가 있었습니다. 이 연구는 이러한 문제를 해결하기 위해 ‘양방향 진화 탐색(Bidirectional Evolutionary Search)’이라는 새로운 기법을 제안하여, 모델이 더 넓은 가능성을 탐색하며 스스로 성능을 효과적으로 개선하도록 돕습니다.

Guowei Xu, Zhenting Qi, Huangyuan Su