moeru-ai/airi — self-hosted 실시간 음성채팅 AI 동반자
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Vidu S1: A Real-Time Interactive Video Generation Model
Vidu S1은 사용자의 음성 명령을 통해 디지털 캐릭터를 실시간으로 제어할 수 있는 대화형 비디오 생성 모델입니다. 이 모델은 일반 소비자용 GPU에서도 흐려짐이나 왜곡 없이 무한한 길이의 영상을 실시간으로 생성할 수 있으며, 사용자가 직접 업로드한 이미지로도 캐릭터를 만들 수 있습니다.
Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning
이 연구는 생물학, 화학, 재료 과학의 근간이 되는 구조-속성 관계를 AI가 더 정확하고 투명하게 이해할 수 있는 새로운 딥러닝 방법론을 제안합니다. 이 접근법은 입체화학, 결합, 대칭과 같은 과학적 원리를 바탕으로 구조적 증거를 직접 해석함으로써, 다양한 학문 분야에 걸쳐 복잡한 기능과 반응성을 설명하는 것을 목표로 합니다.
Video-Oasis: Rethinking Evaluation of Video Understanding
이 연구는 현재 비디오-LLM 벤치마크의 성능이 실제 시각적 이해 능력 때문인지, 언어적 추론이나 사전 지식 덕분인지 불분명하다는 문제를 제기합니다. 새로운 벤치마크를 추가하는 대신, ‘Video-Oasis’라는 평가 기준 재검토 프레임워크를 도입하여 비디오 이해 능력을 보다 근본적으로 평가할 수 있는 방법을 모색합니다.
Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
이 논문은 이전에 본 적 없는 새로운 행동-사물 조합을 인식해야 하는 제로샷 구성 행동 인식(ZS-CAR) 모델의 주요 실패 원인을 분석합니다. 모델이 실제 행동을 보고 동사를 추론하는 대신, 특정 사물에 의존해 행동을 예측하는 ‘지름길 학습’ 문제를 지적하고, 이를 진단하고 완화하기 위한 새로운 지표와 방법을 제안합니다.
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
기존 AI 에이전트 벤치마크가 짧고 단순한 작업의 최종 결과만으로 평가하는 한계를 지적하며, 장기적인 복합 과제 수행 능력을 측정하기 위한 새로운 ‘Long-Horizon-Terminal-Bench’를 제안합니다. 이 벤치마크는 최종 성공 여부뿐만 아니라 과제 수행 과정의 중간 단계까지 조밀한 보상 기반으로 채점하여, 에이전트의 능력을 보다 포괄적이고 상세하게 평가합니다.
Hugging Face Blog
Scalable Visual Pretraining for Language Intelligence
기존 대규모 모델은 문서의 그림이나 레이아웃 같은 시각 정보를 버리고 텍스트만으로 학습하여 정보 손실이 발생했습니다. 이 연구는 텍스트만으로는 온전히 파악할 수 없는 시각적 단서까지 사전 학습에 활용하여 언어 지능을 한 단계 발전시키는 확장 가능한 방법을 제시합니다.
PanoWorld: Real-World Panoramic Generation
PanoWorld는 파노라마 월드 모델의 장기 기억력 문제를 해결하기 위해 전방위 표현의 회전 등분산성 속성을 활용하는 새로운 모델입니다. 이 모델은 복잡한 카메라 움직임을 단순화하고, DPRC와 같은 독자적인 기술을 통해 장거리 기억을 효과적으로 처리하여 현실적인 파노라마 세계를 생성합니다.
Wan-Dancer: A Hierarchical Framework for Minute-scale Coherent Music-to-Dance Generation
기존 확산 모델은 시간적 한계로 인해 음악에 맞춰 긴 댄스 영상을 생성할 때 동작의 일관성이 떨어지는 문제가 있었습니다. Wan-Dancer는 이러한 문제를 해결하기 위해 계층적 프레임워크를 제안하며, 이를 통해 수 분 길이의 음악에도 리듬과 동작의 통일성을 유지하는 고품질 댄스 영상을 성공적으로 생성합니다.
GitHub Trending
moeru-ai/airi
airi는 직접 호스팅하여 소유할 수 있는 개인 맞춤형 AI 동반자 프로젝트입니다. 실시간 음성 채팅은 물론 마인크래프트와 같은 게임 플레이까지 지원하여, 가상의 존재를 현실 세계와 연결하는 것을 목표로 합니다.
Shubhamsaboo/awesome-llm-apps
이 저장소는 바로 실행해볼 수 있는 100개 이상의 AI 에이전트 및 RAG 애플리케이션을 모아놓은 목록입니다. 사용자는 이 앱들을 직접 복제하고 필요에 맞게 수정하여 배포할 수 있어, 실제 AI 서비스 개발에 유용한 참고 자료가 됩니다.
Nutlope/hallmark
hallmark는 AI가 생성하는 코드의 품질 저하를 방지하기 위한 디자인 원칙 및 기술 모음입니다. Claude Code나 Cursor 같은 AI 코딩 도우미를 사용할 때, 조잡하고 부실한 결과물이 아닌 잘 설계된 코드를 유지하도록 돕습니다.
Graphify-Labs/graphify
Graphify는 코드, SQL, 문서, 이미지 등 다양한 프로젝트 파일을 쿼리 가능한 지식 그래프로 변환하는 AI 코딩 보조 도구입니다. 이를 통해 애플리케이션, 데이터베이스, 인프라 정보를 하나의 그래프로 통합하여 프로젝트 전체에 대한 깊이 있는 분석과 질문이 가능해집니다.
hasaneyldrm/exercises-dataset
이 프로젝트는 1,324개의 운동 동작에 대한 상세 정보를 담은 종합 피트니스 데이터셋입니다. 각 운동의 애니메이션 GIF, 근육 및 장비 정보, 6개 언어로 된 단계별 설명이 포함되어 있어 다양한 피트니스 앱 개발에 활용될 수 있습니다.
AI Weekly
AI Weekly Issue #513: Treasury analysts called AI a systemic risk. Treasury disowned it.
미국 재무부 분석가들이 AI를 금융 시스템 전체를 위협할 수 있는 ‘시스템적 리스크’로 규정했습니다. AI 산업의 침체가 주식, 사모 신용, 데이터센터 부채 등 경제 전반에 연쇄적인 충격을 줄 수 있다는 우려 때문이며, 이에 유럽과 영국 등 주요국들도 관련 기업에 대한 감독을 강화하고 있습니다.
오늘의 키워드
Reasoning LLM Eval Vision AI Agent MoE RAG Cursor Claude Knowledge Graph