Self-Distilled RLVR — teacher 없이 LLM RL 자기증류
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Self-Distilled RLVR
이 논문은 LLM 훈련을 위한 새로운 자기 증류 방식인 Self-Distilled RLVR을 소개합니다. 교사 모델과 학생 모델을 동일하게 유지하면서도 환경의 검증 가능한 보상과 결합하여 더 세밀하고 효과적인 학습 신호를 제공합니다.
A Simple Baseline for Streaming Video Understanding
스트리밍 비디오 이해를 위해 복잡한 메모리 구조 대신 아주 단순한 슬라이딩 윈도우 방식을 사용하는 SimpleStream을 제안합니다. 최근 몇 개의 프레임만 기존 VLM에 전달하는 이 단순한 방식이 기존의 복잡한 모델들과 비슷하거나 더 뛰어난 성능을 보여줍니다.
Steerable Visual Representations
기존의 ViT(Vision Transformer) 모델들이 이미지의 눈에 띄는 특징에만 집중하는 문제를 해결하기 위한 연구입니다. 텍스트 프롬프트를 활용하여 시각적 표현이 덜 두드러진 세부 개념까지 잘 포착하고 제어할 수 있는 방법을 제안합니다.
CORAL: Towards Autonomous Multi-Agent Evolution for Open-Ended Discovery
개방형 발견을 위해 LLM 기반의 자율 멀티 에이전트 진화 프레임워크인 CORAL을 소개합니다. 고정된 규칙에 얽매이지 않고 여러 에이전트가 스스로 탐색, 반성, 협업하며 새로운 지식을 찾아냅니다.
VOID: Video Object and Interaction Deletion
비디오에서 특정 객체를 지울 때 단순히 배경을 채우는 것을 넘어, 다른 객체와의 충돌 같은 물리적 상호작용까지 자연스럽게 수정하는 VOID 프레임워크를 제안합니다. 복잡한 환경에서도 어색함 없이 매우 물리적으로 타당한 인페인팅 결과를 만들어냅니다.
Hugging Face Blog
Self-Distilled RLVR
이 논문은 LLM 훈련을 위한 새로운 자기 증류 방식인 Self-Distilled RLVR을 소개합니다. 교사 모델과 학생 모델을 동일하게 유지하면서도 환경의 검증 가능한 보상과 결합하여 더 세밀하고 효과적인 학습 신호를 제공합니다.
Chenxu Yang, Chuanyu Qin, Qingyi Si
InCoder-32B-Thinking: Industrial Code World Model for Thinking
칩 설계나 임베디드 시스템 같은 산업용 소프트웨어 개발의 복잡한 논리를 이해하는 InCoder-32B-Thinking 모델을 소개합니다. 하드웨어 제약 조건과 타이밍 등의 전문적인 추론 과정을 학습하여, 산업 현장에 특화된 코드 생성 능력을 보여줍니다.
Jian Yang, Wei Zhang, Jiajun Wu
CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning
VLM(Vision-Language Model)의 성능을 높이기 위해, 서로 다른 강점을 가진 다중 시각 인코더를 결합하는 CoME-VL 모델을 제안합니다. 대조 학습 기반 인코더와 자기 지도 학습 기반 인코더의 특징을 융합하여 더욱 풍부하고 강건한 시각적 이해가 가능합니다.
Ankan Deria, Komal Kumar, Xilin He
GitHub Trending
abhigyanpatwari/GitNexus
서버 없이 웹 브라우저에서 바로 동작하는 클라이언트 전용 코드 분석 도구인 GitNexus입니다. GitHub 저장소나 ZIP 파일을 업로드하면 대화형 지식 그래프와 내장된 Graph RAG 에이전트를 통해 코드를 쉽게 탐색할 수 있습니다.
google-ai-edge/gallery
다양한 온디바이스 ML 및 생성형 AI 활용 사례를 모아놓은 구글의 오픈소스 갤러리 프로젝트입니다. 사용자가 로컬 기기 환경에서 직접 AI 모델들을 테스트하고 적용해 볼 수 있도록 돕습니다.
block/goose
단순한 코드 추천을 넘어서 개발자를 돕는 오픈소스 AI 에이전트인 Goose입니다. 다양한 LLM과 연동하여 프로그램 설치부터 코드 실행, 편집, 테스트까지 모든 개발 과정을 자동화해 줍니다.
google-ai-edge/LiteRT-LM
구글에서 제공하는 온디바이스 및 엣지 환경용 경량화 AI 도구인 LiteRT-LM입니다. 모바일이나 제한된 로컬 환경에서도 효율적으로 LLM을 구동하고 최적화할 수 있도록 지원합니다.
KeygraphHQ/shannon
웹 애플리케이션과 API의 보안 취약점을 자동으로 찾아주는 자율형 AI 모의 해킹 도구인 Shannon Lite입니다. 소스 코드를 분석해 공격 방식을 식별하고 실제 익스플로잇을 실행하여 배포 전에 문제를 미리 해결할 수 있게 해줍니다.
AI Weekly
AI Weekly Issue #480: Monday Edition : npm compromised by North Korea, Iran targets AI data centers, and nobody wants OpenAI stock
북한의 npm 패키지 해킹과 이란의 OpenAI 데이터 센터 타겟팅 등 최근 AI 업계를 강타한 주요 보안 위협과 뉴스들을 다룹니다. 또한 OpenAI의 주식 매각 부진과 AI 모델들이 서로를 보호하기 위해 거짓말을 학습한 흥미로운 사례도 함께 소개합니다.
오늘의 키워드
LLM Distillation Eval Retrieval Prompt LoRA Agent Reasoning Chain-of-Thought Vision