Omni-WorldBench — 상호작용 중심 4D World Model 평가
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models
이 논문은 비디오 기반 World Model을 위한 포괄적인 평가 벤치마크인 Omni-WorldBench를 소개해요. 단순한 화질이나 정적인 3D 재구성을 넘어, 공간 구조와 시간적 변화를 동시에 다루는 4D 생성 능력을 중점적으로 평가합니다. 미래의 World Model이 나아갈 상호작용 중심의 새로운 기준을 제시해주고 있어요.
Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model
사람 중심의 영상과 오디오를 동시에 생성하는 오픈소스 파운데이션 모델인 daVinci-MagiHuman을 제안합니다. 텍스트, 비디오, 오디오를 하나의 토큰 시퀀스로 처리하는 Single-stream Transformer 구조를 채택해 속도와 효율성을 크게 높였어요. 복잡한 다중 스트림 방식 없이도 빠르고 최적화하기 쉬운 것이 큰 장점입니다.
LongCat-Flash-Prover: Advancing Native Formal Reasoning via Agentic Tool-Integrated Reinforcement Learning
이 연구는 Lean4 환경에서 수학적 Formal Reasoning 능력을 크게 향상시킨 5,600억 파라미터 규모의 MoE 모델을 선보입니다. 복잡한 추론 과정을 자동 공식화, 스케치, 증명이라는 세 가지 단계로 나누고 에이전트 도구를 통합해 문제를 해결해요. 하이브리드 전문가 프레임워크를 통해 고품질의 작업 궤적을 만들어내는 것이 특징입니다.
Look Where It Matters: High-Resolution Crops Retrieval for Efficient VLMs
VLM이 이미지를 처리할 때 발생하는 정확도와 연산 효율성 사이의 딜레마를 해결하는 AwaRes 프레임워크를 소개합니다. 전체 이미지는 저해상도로 빠르게 파악하고, 작은 텍스트처럼 중요한 세부 정보가 있는 영역만 고해상도로 잘라내어 분석해요. 덕분에 연산 비용은 줄이면서도 중요한 시각적 정보를 놓치지 않고 정확하게 처리할 수 있습니다.
OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis
AI 연구 에이전트를 훈련시키기 위해 검색과 다단계 추론 과정을 오프라인에서 생성할 수 있는 완전 개방형 파이프라인 OpenResearcher를 제안해요. 기존 데이터 수집 방식이 값비싼 웹 API에 의존했던 문제를 해결하여, 비용을 낮추고 안정성을 크게 높였습니다. 누구나 대규모의 복잡한 연구 궤적 데이터를 쉽게 합성하고 재현할 수 있도록 돕는 유용한 도구입니다.
Hugging Face Blog
Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models
이 모델은 비디오 기반 World Model의 성능을 다각도로 평가할 수 있는 Omni-WorldBench 벤치마크 데이터셋입니다. 기존의 단순한 시각적 품질 평가를 넘어, 공간적 구조와 시간적 흐름을 모두 반영하는 4D 생성 능력을 검증해요. AI가 가상 세계와 상호작용하는 능력을 보다 정확하고 포괄적으로 측정할 수 있도록 돕습니다.
Meiqi Wu, Zhixin Cai, Fufangchen Zhao
VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding
이 모델은 MLLM이 긴 길이의 영상을 효과적으로 이해할 수 있도록 돕는 VideoDetective 프레임워크입니다. 사용자의 쿼리(Query)와 관련된 장면을 찾을 뿐만 아니라, 영상 내부의 장면들 사이의 연관성까지 함께 분석하여 중요한 단서를 찾아내요. 덕분에 제한된 문맥 창 안에서도 긴 비디오의 핵심 내용을 놓치지 않고 정확하게 파악할 수 있습니다.
Ruoliu Yang, Chu Wu, Caifeng Shan
Repurposing Geometric Foundation Models for Multi-view Diffusion
다양한 각도에서 일관된 이미지를 생성(NVS)하기 위해 기하학적 파운데이션 모델을 활용하는 Geometric Latent Diffusion 프레임워크입니다. 기존의 뷰 독립적인 방식과 달리, 3D 기하학적 특징을 잘 담고 있는 잠재 공간을 활용해 시점 변화에도 어색함 없는 결과를 만들어내요. 이를 통해 훨씬 더 정교하고 자연스러운 다중 시점 이미지 생성이 가능해집니다.
Wooseok Jang, Seonghu Jeon, Jisang Han
GitHub Trending
bytedance/deer-flow
정보 검색부터 코딩, 콘텐츠 생성까지 스스로 수행할 수 있는 강력한 오픈소스 SuperAgent 도구입니다. 샌드박스, 메모리 기능, 다양한 Subagent를 활용해 몇 분에서 몇 시간이 걸리는 복잡한 작업도 척척 해내요. AI 에이전트 기반의 자동화 파이프라인을 구축하고 싶은 개발자에게 매우 유용한 프로젝트입니다.
supermemoryai/supermemory
AI 시대에 맞춰 극강의 속도와 확장성을 자랑하는 지식 저장 및 메모리 엔진 앱이에요. 사용자가 저장한 정보와 데이터를 AI가 쉽게 기억하고 활용할 수 있도록 편리한 API 형태로 제공합니다. 개인용 두뇌 보조 도구나 AI 서비스의 메모리 시스템을 구축할 때 아주 유용하게 쓸 수 있어요.
harry0703/MoneyPrinterTurbo
LLM 기술을 활용해 클릭 한 번만으로 고화질 숏폼 영상을 자동 생성해주는 신기한 도구입니다. 텍스트나 간단한 주제만 입력하면 AI가 대본 작성부터 영상 편집까지 모두 알아서 처리해줘요. 유튜브 쇼츠나 틱톡 같은 비디오 콘텐츠를 쉽고 빠르게 대량으로 만들고 싶은 분들께 강력히 추천합니다.
Crosstalk-Solutions/project-nomad
인터넷이 끊긴 극한의 오프라인 환경에서도 살아남을 수 있도록 필수 도구와 지식, AI를 모두 담아놓은 생존용 컴퓨터 프로젝트입니다. 외부 네트워크 연결 없이도 내부의 AI와 데이터를 활용해 언제 어디서든 중요한 정보를 얻고 문제를 해결할 수 있어요. 재난 상황이나 오지 탐험에 대비한 궁극의 휴대용 스마트 툴킷이라고 할 수 있습니다.
TauricResearch/TradingAgents
여러 개의 LLM 에이전트가 협력하여 금융 시장을 분석하고 자동 거래를 수행하는 멀티 에이전트 트레이딩 프레임워크입니다. 각 AI 에이전트가 역할을 나누어 시장 데이터를 수집, 분석하고 최적의 투자 전략을 세우도록 설계되었어요. AI 기술을 알고리즘 트레이딩이나 퀀트 투자에 접목해보고 싶은 분들을 위한 훌륭한 오픈소스 프로젝트입니다.
오늘의 키워드
Alignment Eval Audio Inference MoE Agent Vision Retrieval Reasoning LLM