hindsight — 학습을 통해 발전하는 AI 에이전트 메모리
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Training Object Permanence in World Models
최신 비디오 생성 모델은 물리 세계를 이해하는 능력을 보이지만, 사물이 시야에서 사라져도 계속 존재한다는 ‘객체 영속성’ 개념은 부족합니다. 이 연구는 인지 과학에서 영감을 받은 WROP 데이터셋을 통해 월드 모델에 객체 영속성을 훈련시켜, 모델이 더 현실적인 물리 법칙을 이해하도록 만드는 방법을 제안합니다.
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
여러 사람이 참여하는 대화에서 기존 LLM은 누가 무슨 말을 했는지, 참여자 간의 관계는 어떠한지를 기억하는 데 어려움을 겪습니다. 이 문제를 해결하기 위해, 본 연구는 각 화자 중심의 정보와 그룹 전체의 공유 정보를 별도로 관리하는 이중 트랙 메모리 시스템 ‘SpeakerMem-R1’을 제안하여 다자간 대화의 맥락 이해도를 높입니다.
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
LLM의 기반이 되는 트랜스포머 아키텍처는 복잡한 비선형 구조에도 불구하고 근본적인 선형성을 보이며, 서로 다른 입력값을 합치면 출력값도 각 결과가 중첩된 형태로 나타납니다. 이 연구는 이러한 ‘선형 중첩’ 현상이 훈련을 통해 나타나는 우연한 결과가 아니라 트랜스포머 구조 자체에 내재된 고유한 특성임을 실험적으로 증명합니다.
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
기존 비전-언어 모델(VLM)은 주로 정적인 이미지로 학습하여 동적인 환경에서의 공간 추론 능력이 부족합니다. 이 연구는 모델이 관찰 가능한 물리 세계와 직접 상호작용하며 공간 개념을 학습하는 ‘Spatial-Interactor’를 제안하여, 객체의 움직임과 시점 변화를 통해 공간 상태를 지속적으로 업데이트하는 능력을 향상시킵니다.
HappyWorld-Bench
생성형 월드 모델을 평가하려면 생성된 세계의 품질뿐만 아니라 사용자의 상호작용에 따른 일관성과 반응성까지 종합적으로 측정해야 합니다. ‘HappyWorld-Bench’는 에이전트가 가상 세계와 상호작용하고 이를 수정할 때도 세계가 안정적으로 유지되는지를 평가하는 새로운 벤치마크로, 6단계의 계층적 능력 프레임워크를 기반으로 설계되었습니다.
Hugging Face Blog
WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation
WanPE는 텍스트-비디오 생성 기술을 위한 397B 파라미터 규모의 프롬프트 강화 모델입니다. 이 모델은 105만 개의 실제 비디오를 학습하여, 사용자의 단순한 텍스트 입력을 감독 수준의 정교한 시네마틱 계획으로 변환함으로써 영상의 완성도를 획기적으로 높입니다.
Coding Agents for Generalized Task and Motion Planning Problems
작업 및 모션 계획(TAMP) 문제는 기하학적, 운동학적 제약 조건 때문에 해결이 매우 어렵습니다. 이 연구는 코딩 에이전트를 활용하여 일반화된 TAMP 문제 해결 과정을 자동화함으로써, 기존에 요구되던 막대한 양의 전문 엔지니어링 작업을 대체할 수 있는 새로운 접근법을 제시합니다.
ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
AI 시스템의 과학적 탐색 능력을 평가하기는 매우 어렵다는 문제의식에서 출발하여, ‘ExplorationBench’라는 새로운 평가 벤치마크를 소개합니다. 이 벤치마크는 검증 가능한 가상 세계를 통해 AI가 사전 학습된 지식을 단순히 기억해내는 것이 아니라 진정으로 새로운 것을 탐험하고 발견하는지 측정합니다.
GitHub Trending
paperclipai/paperclip
페이퍼클립은 업무 환경에서 AI 에이전트를 관리하기 위해 만들어진 오픈소스 애플리케이션입니다. 이를 통해 사용자는 다양한 AI 에이전트를 효율적으로 제어하고 활용할 수 있습니다.
vectorize-io/hindsight
하인드사이트는 학습 능력을 갖춘 AI 에이전트용 메모리 시스템입니다. 에이전트가 과거의 경험을 통해 스스로 학습하고 성능을 개선할 수 있도록 돕습니다.
NVIDIA/Model-Optimizer
엔비디아의 모델 옵티마이저는 양자화, 증류 등 최신 모델 최적화 기술을 통합한 라이브러리입니다. 이 도구는 딥러닝 모델을 압축하여 TensorRT-LLM, vLLM 같은 프레임워크에서 추론 속도를 극대화합니다.
dream-num/univer
유니버는 AI 에이전트가 오피스 문서를 다룰 수 있도록 지원하는 통합 프레임워크입니다. 스프레드시트, 문서, 슬라이드, PDF 등 다양한 포맷을 단일 런타임 환경에서 처리하여 문서 작업 자동화를 돕습니다.
tensorflow/tensorflow
텐서플로우는 누구나 사용할 수 있는 오픈소스 머신러닝 프레임워크입니다. 구글이 개발한 이 도구는 유연한 생태계를 통해 연구부터 실제 서비스 배포까지 머신러닝 프로젝트의 전 과정을 지원합니다.
오늘의 키워드
LLM Benchmark Vision LoRA Agent Eval Prompt Quantization Inference AI Agent