AMBIT — ScenePlans 기반의 직관적인 공간 음향 생성 및 편집
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
공간 음향을 생성하고 편집하는 통합 프레임워크 AMBIT을 제안합니다. 이 기술은 실행 가능한 ‘ScenePlans’를 통해 음원의 내용, 활동, 3D 위치 등을 지정하여, 자동 회귀적 계획과 렌더링을 결합함으로써 직관적인 공간 음향 저작을 가능하게 합니다.
AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos
긴 영상 속 짧게 삽입된 AI 조작을 탐지하는 것은 기존 방법으로 어렵다는 문제를 해결하기 위해 새로운 벤치마크 AV-FABLE을 공개합니다. 이 데이터셋은 긴 영상에 소리나 화면이 국소적으로 조작된 사례들을 포함하여, 실제와 유사한 환경에서 딥페이크 탐지 기술의 성능을 평가하고 발전시키는 데 기여합니다.
Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
루브릭 기반 보상으로 강화학습(RL)을 진행할 때, 모델이 보상을 극대화하기 위해 불필요하거나 부정확한 내용을 길게 생성하는 ‘보상 해킹’ 문제가 발생합니다. 이 문제를 해결하기 위해 기존의 재현율(recall) 목표에 정밀도(precision) 목표를 추가하여, 모델이 더 간결하고 정확한 결과물을 생성하도록 유도하는 새로운 학습 방법을 제안합니다.
HiP3R: Hierarchical Pose Graphs for Long-Horizon 3D Reconstruction
수천 프레임에 달하는 긴 영상으로부터 3D 모델을 재구성할 때 발생하는 계산 비용과 데이터 불일치 문제를 해결하는 계층적 포즈 그래프(HiP3R) 기법을 제시합니다. 이 방법은 영상을 여러 조각으로 나누어 처리한 뒤, 계층적 그래프를 이용해 각 조각을 효율적으로 정렬하고 병합하여 전역적으로 일관된 3D 재구성을 가능하게 합니다.
Trustworthy Recursive Self-Improvement in the Era of Large Models: Foundation, Risks, Evaluation and Open Challenges
대형 모델이 스스로를 개선하는 재귀적 자기 개선(RSI) 기술이 발전하고 있지만, 이러한 과정이 신뢰할 수 있는 방향으로 이루어질지는 보장되지 않습니다. 본 논문은 RSI의 개념적 기반과 잠재적 위험을 분석하고, 신뢰성 있는 평가 방법론과 향후 과제를 제시하며 안전한 AI 개발의 중요성을 강조합니다.
Hugging Face Blog
LociArt: A Unified Paradigm for Free-Style Local Video Stylization
LociArt는 영상의 특정 영역에만 원하는 스타일을 자유롭게 적용하는 새로운 패러다임을 제시합니다. 이 기술은 GRN(Generative Refinement Networks)을 기반으로 스타일을 적용할 위치와 종류를 명시적으로 지정하여, 목표가 아닌 콘텐츠는 그대로 보존하면서 시공간적 일관성을 유지하는 정교한 로컬 편집을 가능하게 합니다.
Rollback: Experience Backtracking in World Models for Policy Improvement
Rollback은 월드 모델을 단순한 순방향 시뮬레이터를 넘어, 과거의 결정 시점으로 되돌아가 다른 행동의 결과를 탐색하는 새로운 로봇 정책 개선 패러다임입니다. 이 ‘경험 백트래킹’ 기능을 통해 물리적 환경에서는 불가능한 가상 시나리오 분석을 수행하여 정책을 효율적으로 향상시킬 수 있습니다.
SO-101 Bench: Accessible Spatial Manipulation
SO-101 Bench는 로봇 학습 입문에 널리 사용되는 저비용 로봇 팔을 위한 새로운 시뮬레이션 벤치마크입니다. 실제 로봇의 디지털 트윈 환경을 기반으로 언어 지시에 따른 공간 조작 능력을 평가하는 과제들을 제공하여, 기존 물리적 하드웨어 벤치마크의 한계를 극복하고 접근성 높은 연구 환경을 조성합니다.
토스 기술블로그
손가락 튕기기로 LLM 비용 줄이기
토스는 급증하는 LLM 운영 비용을 절감하기 위한 효율적인 해결책을 모색했습니다. 이 글은 복잡한 과정 없이 간단한 아이디어로 LLM API 호출 비용을 신속하게 최적화한 토스팀의 경험과 노하우를 공유하며, 누구나 쉽게 적용할 수 있는 비용 절감 팁을 제공합니다.
GitHub Trending
elayadesign/ai-design-skills
AI를 활용한 디자인 기술을 모아놓은 저장소입니다. 디자이너가 AI를 효과적으로 사용하여 창의적인 결과물을 만들어내는 데 필요한 다양한 기술과 노하우를 제공합니다.
Nutlope/hallmark
이 프로젝트는 AI가 생성하는 저품질 결과물을 방지하기 위한 디자인 기술을 제공합니다. Claude Code, Cursor, Codex와 같은 AI 모델을 사용하여 더 정교하고 품질 높은 디자인 결과물을 얻도록 돕습니다.
nightly-labs/openbot
Openbot은 로컬 우선 방식으로 구동되는 데스크톱 AI 협업 공간입니다. 여러 AI 에이전트를 지속적인 팀원처럼 활용하며, 전용 작업 공간, 파일 공유, 브라우저 제어 등의 기능을 통해 복잡한 작업을 자동화하고 협업할 수 있습니다.
pbakaus/impeccable
Impeccable은 AI가 더 나은 디자인 결과물을 만들도록 돕는 디자인 언어 시스템입니다. 이 가이드라인을 활용하면 AI에게 디자인 작업을 더 효과적으로 지시하고 고품질의 결과물을 얻을 수 있습니다.
makecindy/cindy
Cindy는 ‘생각한 대로 이루어지는’ 것을 목표로 하는 오픈소스 AI 에이전트입니다. 별도의 복잡한 설정 없이 바로 사용할 수 있도록 설계되어, 사용자가 원하는 작업을 즉시 자동화하고 처리할 수 있습니다.
오늘의 키워드
Audio Benchmark RAG Vision Inference Workflow Prompt LLM Cursor Claude