voicebox — 목소리 복제·생성을 위한 오픈소스 AI 보이스 스튜디오
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance
10B 수준의 거대 이미지 인페인팅 모델은 성능은 뛰어나지만 막대한 연산 비용 때문에 실제 활용이 어렵습니다. 이를 해결하기 위해 제안된 ‘Moebius’는 0.2B의 초경량 모델임에도 불구하고, 확산 모델의 구조를 체계적으로 재구성하여 10B급 모델에 버금가는 고성능을 달성한 효율적인 이미지 인페인팅 프레임워크입니다.
DragMesh-2: Physically Plausible Dexterous Hand-Object Interaction with Articulated Objects
여러 손가락을 가진 로봇 손이 문이나 서랍처럼 관절이 있는 물체를 조작하는 것은 지속적인 물리적 접촉을 통해 움직임을 만들어내야 하므로 매우 복잡한 과제입니다. ‘DragMesh-2’는 로봇 손과 관절 객체 간의 상호작용을 물리적으로 타당하고 자연스럽게 생성하여, 정교한 조작을 가능하게 하는 새로운 기술을 제안합니다.
Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
LLM의 코드 생성 능력을 평가하는 ‘LiveCodeBench(LCB)’는 널리 사용되는 벤치마크이지만, 파이썬(Python)에만 국한되어 모델의 다중 언어 일반화 성능을 확인하기 어려웠습니다. ‘Multi-LCB’는 LCB를 여러 프로그래밍 언어로 확장하여, LLM이 다양한 언어 환경에서도 코딩 능력을 발휘할 수 있는지 종합적으로 평가할 수 있는 새로운 기준을 제시합니다.
PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models
기존의 멀티모달 대형 언어 모델(MLLM)은 이미지 이해 능력은 뛰어나지만, 텍스트를 순차적으로 생성하는 방식 때문에 이미지의 여러 영역을 동시에 설명하는 작업에는 비효율적이었습니다. ‘PerceptionDLM’은 확산 모델을 기반으로 이미지 내 여러 영역에 대한 설명을 병렬적으로 생성하도록 최적화하여, 기존 모델보다 훨씬 효율적인 병렬 영역 인식을 가능하게 합니다.
Playful Agentic Robot Learning
현재의 에이전트 로봇 시스템은 주어진 과제에 따라 학습하지만, 명시적인 지시가 있어야만 새로운 기술을 습득하는 수동적인 방식에 머물러 있습니다. ‘놀이 기반 에이전트 로봇 학습’은 로봇이 특정 과제를 받기 전에 스스로 ‘놀이’를 통해 재사용 가능한 기술을 지속적으로 학습하는 새로운 패러다임을 제안합니다.
Hugging Face Blog
JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising
JanusMesh는 보는 각도에 따라 전혀 다른 모습으로 보이는 3D 시각적 환영을 텍스트 입력만으로 빠르게 생성하는 기술입니다. 기존 최적화 기반 방식의 느린 속도나 스티칭 방식의 부자연스러운 경계 문제를 해결하여, 별도의 학습 없이도 기하학적으로 일관된 결과물을 만들어냅니다.
Current World Models Lack a Persistent State Core
월드 모델이 진정한 물리 세계를 이해하려면, 관찰 여부와 상관없이 독립적으로 존재하는 내부 상태를 모델링해야 합니다. 현재의 월드 모델들은 단지 요청에 따라 그럴듯한 장면을 생성할 뿐, 보이지 않는 곳에서도 객체가 계속 존재하고 사건이 진행되는 ‘지속적인 상태 코어’가 부족하다는 근본적인 한계를 지적합니다.
The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation
이미지 생성 모델의 성능을 평가하는 FID 점수는 학습이나 샘플링 조건에 따라 크게 달라질 수 있어 신뢰하기 어렵습니다. 이 연구는 수백 개의 모델을 직접 학습시켜 FID 점수가 ‘숨겨진 무작위성’에 얼마나 영향을 받는지 측정함으로써, 단일 FID 점수만으로 모델 성능을 판단하는 관행의 문제점을 지적합니다.
토스 기술블로그
es-toolkit, 사내 작은 라이브러리가 전세계적인 라이브러리가 되기까지
토스 사내의 작은 유틸리티 함수 라이브러리로 시작한 ‘es-toolkit’이 전 세계적으로 사용되는 오픈소스가 되기까지의 과정을 소개합니다. 토스 프론트엔드 개발자들이 직접 라이브러리 개발 배경과 오픈소스화 경험을 공유하며 얻은 기술적 성과를 자세히 설명합니다.
4. 우리 팀의 문서화는 왜 실패할까? (2)
많은 팀이 문서화에 어려움을 겪는 이유를 여러 조직의 실제 실패 사례를 통해 분석합니다. 이러한 시행착오 경험을 바탕으로, 이제 막 문서화를 시작하려는 팀이 무엇부터 시작해야 할지 구체적인 가이드를 제공합니다.
GitHub Trending
calesthio/OpenMontage
세계 최초의 오픈소스 AI 에이전트 기반 영상 제작 시스템입니다. 12개의 파이프라인과 500개 이상의 에이전트 스킬을 활용하여, AI 코딩 어시스턴트를 완전한 영상 제작 스튜디오로 바꿔줍니다.
palmier-io/palmier-pro
Palmier-pro는 AI 기술을 위해 특별히 제작된 macOS 전용 영상 편집기입니다. AI 기능을 핵심으로 설계되어 사용자가 더욱 지능적이고 효율적으로 영상을 편집할 수 있도록 돕습니다.
jamiepine/voicebox
Voicebox는 오픈소스로 공개된 AI 음성 스튜디오입니다. 이 도구를 사용하면 음성을 복제하고, 받아쓰기하며, 새로운 AI 음성을 손쉽게 생성할 수 있습니다.
mukul975/Anthropic-Cybersecurity-Skills
이 프로젝트는 AI 에이전트를 위한 817개의 구조화된 사이버 보안 기술 목록을 제공합니다. MITRE ATT&CK, NIST CSF 2.0 등 6개의 주요 보안 프레임워크에 매핑되어 있으며, Claude나 GitHub Copilot 같은 다양한 AI 플랫폼과 연동하여 활용할 수 있습니다.
Stirling-Tools/Stirling-PDF
Stirling-PDF는 GitHub에서 가장 인기 있는 PDF 애플리케이션으로, 웹 브라우저를 통해 강력한 PDF 편집 기능을 제공합니다. 사용자는 어떤 기기에서든 장소에 구애받지 않고 PDF 파일을 분할, 병합, 변환하는 등 다양한 작업을 수행할 수 있습니다.
AI Weekly
AI Weekly Issue #506: Washington Blocked One AI Lab. China Blacklisted 56 Companies.
미국 정부가 앤트로픽(Anthropic)의 AI 모델 수출을 통제하자, 중국이 56개 미국 기업을 블랙리스트에 올리며 즉각 보복에 나섰습니다. 이 사건은 단순한 코딩 요청에서 비롯되었으며, 일방적이던 AI 기술 수출 전쟁이 상호적인 갈등으로 격화되었음을 보여주는 중요한 전환점이 되었습니다.
오늘의 키워드
MoE RAG LLM Eval Agent Benchmark AI Coding Claude AI Agent Cursor