Agent-Native Memory System — LLM 에이전트 메모리 평가의 필요성
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Are We Ready For An Agent-Native Memory System?
LLM 에이전트의 메모리 시스템은 단순한 정보 검색을 넘어 복잡한 데이터 관리 체계로 진화했습니다. 하지만 현재의 성능 평가는 여전히 최종 과제 성공률에만 의존하여, 메모리 시스템 자체의 효율성과 문제점을 제대로 파악하지 못하고 있습니다.
DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation
주어진 대상의 특징을 유지하며 텍스트로 영상을 만드는 S2V 기술은 대상의 모든 특징을 보존하는 경우와 핵심 특징만 유지하는 경우로 나뉩니다. 이 논문은 기존 모델들이 전자에만 집중했던 한계를 넘어, 두 시나리오 모두에서 유연하게 고품질 영상을 생성하는 ‘DomainShuttle’ 방법을 제안합니다.
DanceOPD: On-Policy Generative Field Distillation
최신 이미지 생성 모델은 텍스트 기반 생성, 부분 편집, 전체 편집 등 다양한 기능을 통합해야 하지만, 이 기능들은 서로 충돌하여 성능 저하를 일으키는 경우가 많습니다. ‘DanceOPD’는 이러한 상충하는 기능들을 성능 저하 없이 효과적으로 통합하여 모델을 학습시키는 새로운 방법을 제시합니다.
ShutterMuse: Capture-Time Photography Guidance with MLLMs
기존 사진 보조 AI는 주로 촬영이 끝난 후 사진을 편집하는 데 초점을 맞췄지만, 촬영 순간의 실시간 가이드 기능은 부족했습니다. 이 연구는 멀티모달 LLM이 촬영자에게는 구도를, 피사체에게는 자세를 실시간으로 제안하는 ‘ShutterMuse’ 기술과 이를 평가하기 위한 새로운 벤치마크를 소개합니다.
ViQ: Text-Aligned Visual Quantized Representations at Any Resolution
텍스트와 이미지를 통합하여 표현하려는 시도는 이미지를 텍스트처럼 이산적인 신호로 바꿀 때 심각한 정보 손실을 유발합니다. ‘ViQ’는 해상도에 관계없이 이미지의 세부적인 디테일과 고차원적인 의미 정보를 모두 효과적으로 보존하는 새로운 시각적 양자화 표현 방식을 제안합니다.
Hugging Face Blog
DanceOPD: On-Policy Generative Field Distillation
최신 이미지 생성 모델은 텍스트-이미지 변환(T2I), 부분 편집, 전체 편집 등 다양한 기능을 하나의 모델에 통합해야 합니다. 하지만 이러한 기능들은 서로 충돌하는 경우가 많아 통합이 어려웠는데, DanceOPD는 이 문제를 해결하여 여러 기능을 효과적으로 구성하는 새로운 훈련 방법을 제시합니다.
PhysiFormer: Learning to Simulate Mechanics in World Space
PhysiFormer는 물리적으로 타당한 3D 객체 움직임을 시뮬레이션하는 새로운 디퓨전 트랜스포머 모델입니다. 기존의 픽셀 공간 기반 모델과 달리, PhysiFormer는 3D 메시를 월드 좌표계에서 직접 처리하여 객체의 초기 상태와 재질을 바탕으로 미래의 움직임 궤적을 예측합니다.
Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards
이 연구는 별도의 레이블링된 데이터 없이 LMM(대형 멀티모달 모델)이 스스로 시각적 이해와 이미지 생성 능력을 동시에 향상시키는 자가 발전 훈련 프레임워크를 제안합니다. 이 프레임워크는 내부적으로 질문을 생성하는 Proposer, 답을 찾고 평가하는 Solver, 그리고 이미지를 생성하는 Generator의 세 가지 역할을 통해 자체적으로 학습하고 발전합니다.
토스 기술블로그
누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.
토스는 빠르게 변화하고 확장하는 서비스 환경 속에서도 높은 품질을 유지하기 위해 독자적인 테스트 시스템을 구축하고 있습니다. 단순히 기존 방식으로 테스트를 수행하는 것을 넘어, 효율적이고 자동화된 테스트 방법론 자체를 직접 만들어가며 서비스 안정성을 확보합니다.
GitHub Trending
commaai/openpilot
openpilot은 로보틱스 분야를 위한 오픈소스 운영체제입니다. 현재 300종 이상의 지원 차량에 탑재하여 기존 운전자 보조 시스템의 성능을 한 단계 업그레이드할 수 있습니다.
ripienaar/free-for-dev
개발자와 DevOps 엔지니어를 위해 무료 플랜을 제공하는 다양한 클라우드 서비스를 정리한 목록입니다. SaaS, PaaS, IaaS 등 유용한 서비스들을 한곳에서 쉽게 찾아볼 수 있어 비용 절감에 큰 도움이 됩니다.
opendatalab/MinerU
MinerU는 PDF나 오피스 문서와 같은 복잡한 파일을 LLM이 쉽게 이해할 수 있는 마크다운이나 JSON 형식으로 변환해주는 도구입니다. 이를 통해 AI 에이전트 기반의 워크플로우에서 비정형 데이터를 효과적으로 활용할 수 있게 됩니다.
alchaincyf/zhangxuefeng-skill
중국의 유명 입시 컨설턴트인 장쉐펑의 지식과 노하우를 체계화한 ‘인지 운영체제’입니다. 대입, 대학원 진학, 커리어 설계 등 중요한 진로 결정에 필요한 실용적인 사고 프레임워크를 제공합니다.
xbtlin/ai-berkshire
AI 시대의 버크셔 해서웨이를 목표로, Claude Code를 기반으로 구축된 가치 투자 리서치 프레임워크입니다. 워렌 버핏, 찰리 멍거 등 네 명의 투자 대가들의 방법론을 통합하고, 여러 AI 에이전트가 병렬적으로 기업을 분석하여 투자 결정을 돕습니다.
오늘의 키워드
LLM RAG Agent Eval Prompt Distillation Multimodal Transformer Claude Claude Code