ai-engineering-from-scratch — AI 엔지니어링 기초부터 배우기
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
장기적인 작업을 수행하는 LLM 에이전트에게는 중간 과정에서의 현명한 결정 능력이 중요합니다. 이 논문은 이러한 능력을 ‘취향(taste)’이라고 정의하고, 기존 벤치마크와 달리 최종 결과뿐만 아니라 과정의 질을 측정하는 새로운 평가 방법을 제안합니다.
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
여러 사람이 참여하는 대화에서 기존 LLM은 누가 무슨 말을 했는지, 관계가 어떻게 변하는지 기억하는 데 어려움을 겪습니다. 이 연구는 화자 중심의 이중 트랙 메모리 시스템인 SpeakerMem-R1을 제안하여, 다자간 대화의 복잡한 맥락과 화자별 정보를 효과적으로 관리하고 추적합니다.
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
기존의 시각 생성 모델은 사실적인 이미지를 만들지만 3D 공간의 일관성을 유지하지 못하는 한계가 있습니다. 이 논문은 기하학적 구조에 기반한 잠재 공간(geometry-native latent space)을 학습하는 GAE를 제안하여, 3D 일관성을 갖춘 월드 생성을 가능하게 합니다.
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
기존 시각-언어 모델(VLM)은 동적인 물리 세계에서 공간을 이해하고 추론하는 능력이 부족합니다. 이 연구는 관찰 가능한 물리 세계와의 상호작용을 통해 공간 추론을 학습하는 ‘Spatial-Interactor’를 제안하여, 객체의 움직임과 시점 변화를 통합적으로 이해하는 능력을 향상시킵니다.
HappyWorld-Bench
월드 모델을 평가하려면 생성된 세계의 품질뿐만 아니라 에이전트와의 상호작용 속에서 일관성과 반응성을 검증해야 합니다. 이 논문은 생성된 세계가 상호작용 중에도 신뢰성을 유지하는지 평가하는 포괄적인 벤치마크인 ‘HappyWorld-Bench’를 소개하며, 6단계의 계층적 능력 프레임워크를 통해 월드 모델을 체계적으로 평가합니다.
Hugging Face Blog
The Past Frames the Future: Memory for Autoregressive Video Generation
자기회귀(AR) 비디오 생성 모델은 긴 영상을 만들 때 제한된 컨텍스트 창으로 인해 과거의 중요한 정보를 잊어버리는 한계가 있습니다. 이 연구는 제한된 컨텍스트를 넘어서는 새로운 메모리 메커니즘을 도입하여, 모델이 영상 속 객체의 정체성이나 과거 사건과 같은 핵심 정보를 지속적으로 기억하고 활용할 수 있도록 합니다.
MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
대부분의 비전-언어-행동 모델은 현재 관찰에만 의존하여, 과거의 정보가 필수적인 로봇 제어 작업 수행에 어려움을 겪습니다. 이 문제를 해결하기 위해 ‘MemBodied’는 순환 연관 메모리를 도입하여, 로봇이 과거의 경험을 효율적으로 저장하고 필요할 때 다시 불러와 복잡한 작업을 성공적으로 완수하도록 돕습니다.
On the Diffusibility of High-Dimensional Latents
사전 훈련된 인코더의 특징 공간에서 작동하는 확산 모델은 원본의 세밀한 디테일을 잃어버리는 경향이 있습니다. 이미지 복원을 위해 인코더를 미세 조정하면 디테일은 살아나지만, 역설적으로 이 과정에서 표현 공간의 유효 차원이 감소하여 후속 생성 작업의 품질에 부정적인 영향을 미칠 수 있음을 분석합니다.
GitHub Trending
rohitg00/ai-engineering-from-scratch
AI 엔지니어링의 모든 것을 처음부터 배울 수 있는 자료입니다. 기본 개념 학습부터 시작하여 직접 서비스를 구축하고, 다른 사람들이 사용할 수 있도록 배포하는 전체 과정을 다룹니다.
vectorize-io/hindsight
Hindsight는 학습하는 능력을 갖춘 AI 에이전트 메모리 시스템입니다. 과거의 상호작용과 경험을 바탕으로 지속적으로 학습하고 발전하여, 에이전트가 시간이 지남에 따라 더 나은 성능을 발휘하도록 돕습니다.
dream-num/univer
Univer는 AI 에이전트를 위한 통합 오피스 솔루션입니다. 스프레드시트, 문서, 슬라이드, PDF 등 다양한 형식의 문서를 단일 런타임 환경에서 처리할 수 있게 해, AI 에이전트가 여러 오피스 작업을 원활하게 수행하도록 지원합니다.
NVIDIA/Model-Optimizer
NVIDIA의 Model-Optimizer는 최신 모델 최적화 기술을 집대성한 통합 라이브러리입니다. 양자화, 프루닝, 증류 등 다양한 기법을 통해 딥러닝 모델을 압축하고, TensorRT-LLM이나 vLLM 같은 프레임워크에 배포하여 추론 속도를 최적화합니다.
anthropics/financial-services
AI 모델 클로드(Claude) 개발사 Anthropic이 공개한 금융 서비스 관련 리소스 모음입니다. 이 저장소는 금융 분야에서 AI 모델을 활용하는 다양한 예제 코드와 모범 사례를 제공할 것으로 보입니다.
오늘의 키워드
LLM Agent Benchmark Vision LoRA Eval RAG AI Agent Quantization Inference