AI Tech - 2026-05-21
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
When Vision Speaks for Sound
최신 영상 처리 멀티모달 LLM이 영상 속 소리를 제대로 이해하지 못하고, 시각 정보에 의존해 소리를 추측하는 문제를 지적합니다. 이러한 현상은 오디오 정보를 직접 확인하는 대신 시각적 단서로 오디오를 유추하는 ‘클레버 한스’ 효과와 유사하며, 여러 상용 및 오픈소스 모델에서 공통적으로 발견됩니다.
Active Learners as Efficient PRP Rerankers
LLM을 활용한 쌍대 비교 랭킹(PRP) 방식은 노이즈가 많고 비일관적인 판단을 내리기에 기존 정렬 알고리즘으로는 최적의 순위를 찾기 어렵습니다. 이 논문은 해당 문제를 액티브 러닝 문제로 재정의하여, 제한된 예산 내에서 더 효율적이고 신뢰도 높은 상위 항목을 선정하는 방법을 제안합니다.
Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
검증된 정답 같은 추가 정보를 활용해 모델 스스로를 학습시키는 자기 증류(self-distillation) 기법이 유독 수학 추론 문제에서는 성능 향상을 보이지 못했습니다. 연구진은 그 원인이 모델이 이미 잘 예측하는 부분에 대한 과도한 확신 때문임을 밝혀내고, 이를 해결하기 위한 ‘반-자기 증류(Anti-Self-Distillation)’ 기법을 제안합니다.
GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment
기존의 긴 컨텍스트(long-context) 강화학습 방법들은 복잡한 데이터 검색 경로 설계에 치중하여 실제 필요한 능력들을 충분히 반영하지 못했습니다. 이 연구는 실용적인 능력 중심의 데이터 구성과 검증 가능한 보상 체계를 갖춘 오픈소스 강화학습 레시피 ‘GoLongRL’을 통해 이 문제를 해결하고자 합니다.
OpenComputer: Verifiable Software Worlds for Computer-Use Agents
컴퓨터를 사용하는 AI 에이전트를 효과적으로 훈련하고 평가하기 위해, 실제 소프트웨어 환경을 검증 가능하게 구축하는 프레임워크 ‘OpenComputer’를 제안합니다. 이 프레임워크는 실제 앱의 상태를 검사하는 검증기와 현실적인 과제 생성 파이프라인을 통합하여 에이전트의 능력을 신뢰도 높게 측정합니다.
Hugging Face Blog
MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation
비디오 생성 기술이 단일 샷을 넘어 복잡한 다중 샷 오디오-비디오(MSAV)로 발전하고 있지만, 기존 벤치마크로는 성능을 제대로 평가하기 어려웠습니다. 이를 해결하기 위해 MSAVBench는 최신 MSAV 모델을 체계적이고 신뢰성 있게 평가할 수 있는 최초의 포괄적인 벤치마크를 제시합니다.
PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset
텍스트-이미지(T2I) 모델의 발전에도 불구하고 초고해상도(UHR) 이미지 생성은 고품질 데이터의 부족으로 인해 어려움을 겪고 있습니다. 이 논문은 1억 화소(100MP)급 이미지 생성을 가능하게 하는 대규모 고품질 오픈소스 데이터셋 PixVerve-95K를 소개하며, UHR 생성 기술의 한계를 극복하고자 합니다.
TideGS: Scalable Training of Over One Billion 3D Gaussian Splatting Primitives via Out-of-Core Optimization
3D Gaussian Splatting(3DGS) 모델 훈련은 방대한 파라미터 크기 때문에 GPU 메모리 용량에 의해 제약을 받아왔습니다. TideGS는 훈련 시 특정 시점에서 보이는 가우시안만 활성화된다는 점을 이용해 GPU 메모리를 캐시로 사용하는 최적화 기법을 도입하여, 단일 GPU에서도 10억 개가 넘는 프리미티브를 훈련할 수 있게 만듭니다.
GitHub Trending
colbymchenry/codegraph
이 프로젝트는 코드에 대한 지식 그래프를 미리 인덱싱하여 제공합니다. 이를 통해 Claude Code나 Codex 같은 AI 코딩 도우미가 더 적은 토큰과 도구 호출로 효율적으로 작동하며, 100% 로컬 환경에서 실행 가능합니다.
Imbad0202/academic-research-skills
이 프로젝트는 Claude Code를 위한 학술 연구 기술을 정의합니다. 연구, 작성, 검토, 수정, 최종화에 이르는 체계적인 단계를 통해 AI가 학술 연구 작업을 효과적으로 수행하도록 돕습니다.
tinyhumansai/openhuman
OpenHuman은 개인화된 AI 초지능을 목표로 하는 프로젝트입니다. 개인 정보 보호를 중시하며, 간단하면서도 매우 강력한 성능을 제공하는 것을 특징으로 합니다.
multica-ai/andrej-karpathy-skills
이 프로젝트는 안드레이 카파시(Andrej Karpathy)가 지적한 LLM 코딩의 함정을 바탕으로 Claude Code의 성능을 개선하는 단일 마크다운 파일입니다. 이 파일을 통해 Claude가 더 나은 코드를 생성하도록 유도할 수 있습니다.
rohitg00/ai-engineering-from-scratch
이 저장소는 AI 엔지니어링을 처음부터 배울 수 있는 학습 자료를 제공합니다. ‘배우고, 직접 만들고, 다른 사람들을 위해 배포하라’는 철학을 바탕으로 실용적인 기술 습득을 강조합니다.
오늘의 키워드
LLM Prompt Reasoning Distillation Alignment RAG Eval DPO Agent Audio