PixelSmile — 미세한 얼굴 표정까지 편집하는 Diffusion
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
PixelSmile: Toward Fine-Grained Facial Expression Editing
이 논문은 얼굴 표정을 아주 미세하게 편집할 수 있는 Diffusion 프레임워크인 PixelSmile을 제안합니다. 이를 위해 새로운 얼굴 표정 데이터셋과 평가 벤치마크를 구축하여, 인물 고유의 특성을 유지하면서도 자연스러운 표정 편집이 가능하도록 만들었습니다.
Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale
1조 개의 파라미터를 가진 세계 최초의 과학 분야 Multimodal 파운데이션 모델인 Intern-S1-Pro를 소개합니다. 뛰어난 추론과 이미지-텍스트 이해 능력은 물론, 100개 이상의 전문적인 과학 작업을 능숙하게 처리할 수 있는 강력한 Agent 기능까지 갖추고 있습니다.
CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents
컴퓨터를 스스로 조작하는 Agent를 훈련시키기 위해 대규모 고품질 비디오 데이터셋인 CUA-Suite를 제안합니다. 기존의 띄엄띄엄한 스크린샷 데이터가 가진 한계를 극복하고, 연속적인 비디오 데이터를 제공하여 범용 Agent의 성능을 한 단계 끌어올릴 수 있습니다.
EVA: Efficient Reinforcement Learning for End-to-End Video Agent
길고 복잡한 비디오 데이터를 다룰 때 Multimodal 대형 언어 모델(MLLM)이 겪는 비효율성 문제를 해결하는 연구입니다. 외부 도구나 수동 작업 없이도 강화학습을 통해 효율적이고 능동적으로 비디오를 분석하는 End-to-End Agent를 제안합니다.
RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models
실제 환경에서 화질이 손상된 이미지를 깨끗하게 복원해 주는 새로운 접근법을 다룬 논문입니다. 기존 복원 모델의 훈련 데이터 한계를 극복하기 위해 대규모 이미지 편집 모델을 활용하여, 일상생활의 다양한 환경에서도 뛰어난 복원 성능을 보여줍니다.
Hugging Face Blog
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
사용자가 실시간으로 프롬프트를 입력해 이야기를 완성해 나갈 수 있는 인터랙티브 비디오 생성 모델인 ShotStream을 소개합니다. 이전 장면의 맥락을 바탕으로 다음 장면을 빠르게 만들어내어, 끊김 없고 자연스러운 스토리텔링을 경험할 수 있습니다.
Yawen Luo, Xiaoyu Shi, Junhao Zhuang
Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting
3D Gaussian Splatting 기술을 사용할 때 해상도가 높아지면 데이터가 폭발적으로 증가하는 문제를 해결한 LGTM 프레임워크입니다. 가우시안의 개수를 줄이는 대신 각 요소에 텍스처를 입히는 방식을 적용해, 가벼운 연산량으로도 4K 화질의 3D 합성이 가능해졌습니다.
Yixing Lao, Xuyang Bai, Xiaoyang Wu
MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models
Vision 파운데이션 모델들이 주로 하나의 고정된 해상도로만 이미지를 분석하던 기존의 한계를 뛰어넘는 연구입니다. 저해상도와 고해상도 이미지가 가진 각각의 장점을 모두 활용하여, 모델이 더욱 풍부하고 정확하게 시각 정보를 이해할 수 있도록 돕습니다.
Bocheng Zou, Mu Cai, Mark Stanley
GitHub Trending
mvanhorn/last30days-skill
웹, YouTube, SNS 등 다양한 플랫폼을 넘나들며 원하는 주제에 대해 자동으로 정보를 조사해 주는 AI Agent 스킬입니다. 수집된 최신 정보들을 바탕으로 신뢰할 수 있는 요약본을 만들어 주어 자료 조사의 수고를 크게 덜어줍니다.
SakanaAI/AI-Scientist-v2
AI가 스스로 가설을 세우고 연구를 진행하는 자동화된 과학 연구 Agent인 AI-Scientist-v2를 소개하는 프로젝트입니다. Agentic Tree Search 기법을 활용하여, 워크숍 논문 수준의 의미 있는 과학적 발견을 자동으로 수행할 수 있습니다.
microsoft/VibeVoice
Microsoft에서 개발한 오픈소스 기반의 최첨단 음성 AI 모델입니다. 고품질의 음성 생성과 처리가 가능하여, 누구나 손쉽게 최고 수준의 음성 기술을 활용해 볼 수 있습니다.
datalab-to/chandra
복잡한 형태의 표나 문서식, 심지어 손글씨까지 문서의 원래 레이아웃을 그대로 살려서 읽어내는 강력한 OCR 모델입니다. 다양한 형태의 문서 데이터를 디지털화하고 분석해야 할 때 아주 유용하게 쓰일 수 있습니다.
Yeachan-Heo/oh-my-claudecode
Claude Code 기반의 프로그래밍 작업을 위해 설계된 멀티 Agent 관리 도구입니다. 팀 협업에 최적화된 환경을 제공하여, 여러 AI Agent가 서로 협력하며 효율적으로 코드를 작성하고 관리할 수 있도록 돕습니다.
오늘의 키워드
Eval Multimodal Agent LLM Prompt Vision Inference AI Agent Claude Claude Code