OPUS — LLM 사전학습 매 step 데이터 선별 프레임워크
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration
고품질 데이터가 고갈되는 현상에 대응하여, 학습 단계마다 최적화 도구(Optimizer)의 업데이트를 반영해 데이터를 선별하는 OPUS 프레임워크를 제안합니다. 기존의 정적인 필터링 방식과 달리 학습 역학을 실시간으로 고려하여 LLM 사전 학습의 효율성을 크게 높였습니다.
Code2World: A GUI World Model via Renderable Code Generation
GUI 에이전트가 미래를 예측하며 행동할 수 있도록, 렌더링 가능한 코드를 생성해 다음 화면을 시뮬레이션하는 Code2World 모델입니다. 기존 텍스트나 픽셀 기반 방식보다 훨씬 높은 시각적 정밀도와 구조적 제어 능력을 제공하여 사람과 유사한 상호작용을 가능하게 합니다.
Chain of Mindset: Reasoning with Adaptive Cognitive Modes
인간이 문제 해결 과정에서 여러 사고방식을 통합하듯, LLM도 단계별로 적절한 인지 모드(Mindset)를 전환하며 추론하는 새로운 방법을 소개합니다. 고정된 사고방식만 사용하는 기존 방식의 한계를 넘어, 문제 유형에 맞춰 유연하게 대처함으로써 해결 능력을 한층 끌어올렸습니다.
P1-VL: Bridging Visual Perception and Scientific Reasoning in Physics Olympiads
복잡한 다이어그램과 물리 법칙 이해가 필수적인 물리 올림피아드 수준의 문제를 해결하기 위해, 시각적 인식과 과학적 추론을 결합한 P1-VL 모델입니다. 추상적인 논리를 실제 물리적 현실과 연결하여 LLM이 과학적 일관성을 유지하며 추론하도록 돕습니다.
Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning
자율 에이전트 학습에 필요한 환경 부족 문제를 해결하기 위해, LLM을 활용해 다양한 합성 환경을 자동으로 생성하는 파이프라인(AWM)을 제안합니다. 이를 통해 일상적인 시나리오를 포함한 1,000개 이상의 환경을 구축하여 에이전트가 다양한 도구 사용법을 효과적으로 익히게 합니다.
Hugging Face Blog
Transformers.js v4 Preview: Now Available on NPM!
웹 브라우저에서 직접 AI 모델을 실행할 수 있는 Transformers.js의 v4 프리뷰 버전이 NPM에 공개되었습니다. 이번 업데이트를 통해 최신 모델 지원이 강화되고 성능이 개선되어 웹 기반 AI 애플리케이션 개발이 더욱 쉬워질 전망입니다.
Hugging Face
Introducing SyGra Studio
Hugging Face에서 새롭게 선보이는 SyGra Studio는 AI 데이터 처리 및 개발 워크플로우를 지원하는 도구입니다. 구체적인 기능은 문서 확인이 필요하지만, 개발자들에게 더욱 효율적이고 편리한 작업 환경을 제공할 것으로 기대됩니다.
Hugging Face
Nemotron ColEmbed V2: Raising the Bar for Multimodal Retrieval with ViDoRe V3’s Top Model
NVIDIA의 Nemotron 기반 최신 임베딩 모델로, ViDoRe V3 벤치마크에서 최고 성능을 기록했습니다. 텍스트와 이미지를 아우르는 멀티모달 검색(Multimodal Retrieval) 분야에서 검색 정확도와 성능의 기준을 한 단계 높였습니다.
Hugging Face
GitHub Trending
google/langextract
비정형 텍스트에서 LLM을 활용해 구조화된 정보를 추출해주는 Google의 Python 라이브러리입니다. 추출된 정보의 원문 출처를 정확히 표시해주는 그라운딩(Grounding) 기능과 시각화 도구를 함께 제공하여 신뢰성을 높였습니다.
EveryInc/compound-engineering-plugin
Claude Code를 위한 공식 플러그인으로, 복합적인 엔지니어링 작업을 효율적으로 처리할 수 있도록 돕습니다. Claude의 코딩 및 문제 해결 능력을 확장하여 개발자가 더욱 정교한 작업을 수행할 수 있게 지원합니다.
patchy631/ai-engineering-hub
LLM, RAG, 그리고 실전 AI 에이전트 애플리케이션 개발에 관한 심층적인 튜토리얼을 모아놓은 저장소입니다. AI 엔지니어링 실력을 키우고 싶은 개발자들에게 유용한 학습 자료와 예제 코드를 제공합니다.
cheahjs/free-llm-api-resources
API를 통해 무료로 사용할 수 있는 다양한 LLM 추론 리소스 목록을 정리한 유용한 프로젝트입니다. 비용 부담 없이 다양한 모델을 테스트하거나 간단한 AI 서비스를 프로토타이핑할 때 큰 도움이 됩니다.
google/langextract
비정형 텍스트에서 LLM을 활용해 구조화된 정보를 추출해주는 Google의 Python 라이브러리입니다. 추출된 정보의 원문 출처를 정확히 표시해주는 그라운딩(Grounding) 기능과 시각화 도구를 함께 제공하여 신뢰성을 높였습니다.
오늘의 키워드
Vision Agent LLM Transformer Multimodal Retrieval Eval Grounding Claude Claude Code