OpenART — AI 에이전트 레드팀을 위한 개방형 환경 진화
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution
기존 AI 에이전트 안전성 평가는 정적이고 단기적인 작업에 초점을 맞춰, 장기적인 상호작용에서 발생하는 누적 위험을 포착하지 못하는 한계가 있습니다. 이를 해결하기 위해 OpenART는 개방형 환경을 지속적으로 발전시키며 에이전트의 잠재적 취약점을 효과적으로 발견하고 테스트하는 새로운 레드팀(red teaming) 프레임워크를 제안합니다.
ComBodied Agents: a New Paradigm of Human-Centric Agentic AI
현재의 에이전트 AI는 소프트웨어 상태를 바꾸거나 물리적 환경을 변화시키는 데 집중할 뿐, 사람의 내면 상태나 의도를 파악하는 데는 한계가 있습니다. 이 논문은 인간의 변화하는 상태와 주체성을 모델링의 핵심으로 삼는 새로운 패러다임인 ‘컴바디드 에이전트(ComBodied Agents)’를 제시하여, 보다 인간 중심적인 AI 에이전트의 필요성을 강조합니다.
Spark-to-Paper: End-to-End Research Paper Generation as a Composable Skill
연구 아이디어를 논문으로 완성하는 과정은 단순한 텍스트 생성을 넘어 문헌 검색, 실험 설계, 결과 분석 등 복합적인 작업을 요구합니다. ‘Spark-to-Paper’는 이러한 전체 과정을 자동화하는 시스템으로, 13개의 조합 가능한 기술을 기존 코딩 어시스턴트 내에 구현하여 별도의 에이전트 플랫폼 없이도 논문 작성을 완료할 수 있습니다.
Beyond Pixels: From Video Priors to 4D Worlds
텍스트나 이미지로부터 동적인 3D 장면을 생성하는 4D 생성 기술은 기존 방식들이 특정 비디오 생성 모델에 종속되거나 오류가 누적되는 문제를 겪고 있습니다. 이 연구는 특정 모델에 얽매이지 않고, 사전 훈련된 비디오 모델의 잠재 공간(latents)을 활용하여 보다 유연하고 안정적으로 4D 월드를 생성하는 새로운 방법을 제안합니다.
Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design
배치 이후에도 AI 에이전트 시스템이 스스로 발전하기를 기대하지만, 단일 에이전트의 자기 발전은 고정된 환경 속에서 한계에 부딪히는 경우가 많습니다. 이 논문은 여러 에이전트와 환경이 서로에게 적응 압력을 가하며 함께 진화하는 ‘공진화(co-evolution)’ 개념을 탐구하며, 인간의 설계를 넘어 자기 주도적 진화로 나아가는 과정을 제시합니다.
Hugging Face Blog
AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
이 연구는 학습 과정에서 모델의 파라미터를 수정하는 기존 방식과 달리, 테스트 시점에 강력한 AI 모델이 약한 모델의 추론을 돕는 ‘하네스’를 구축하는 새로운 접근법을 제안합니다. 이를 통해 약한 모델의 파라미터를 업데이트하지 않고도 더 안정적으로 과제를 해결하도록 성능을 이전할 수 있습니다.
StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization
StateFlow는 영화, 게임 등의 사전 시각화 단계에서 기존 생성 모델의 낮은 제어력을 극복하기 위해 제안된 기술입니다. 이 방법은 3D 세계의 상태를 점진적으로 구축하고 수정할 수 있게 하여, 창작자가 장면, 액션, 카메라 등을 반복적으로 편집하며 세밀하게 제어할 수 있도록 지원합니다.
MiDashengLM-Gen: Unified Audio Scene Generation via LLM-Driven Autoregressive Flow Matching
MiDashengLM-Gen은 음성, 음악, 음향 효과가 결합된 오디오 장면을 생성하기 위한 새로운 엔드투엔드(end-to-end) 프레임워크입니다. 사전 학습된 LLM과 오디오 디코더를 긴밀하게 연결하여, 기존의 분리된 파이프라인 구조에서 발생하던 음성 명료도 저하 문제를 해결하고 일관성 높은 오디오 생성을 가능하게 합니다.
토스 기술블로그
AI에게 투자정보를 말하게 하기까지
토스는 신뢰도 높은 투자 정보 AI를 개발하기 위해 세 가지 핵심 단계를 거쳤습니다. AI가 답변의 근거를 직접 고르게 하고, 정해진 절차에 따라 정보를 생성하도록 통제하며, 실패 사례를 학습 데이터로 활용해 시스템을 지속적으로 개선했습니다.
토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)
토스 QA Platform 팀은 빠른 개발 속도와 높은 품질 기준을 충족시키기 위해 기존 상용 도구의 한계를 느끼고 자체 솔루션을 개발했습니다. 이 글은 토스가 직접 만든 QA 플랫폼 ‘토션(Tossion)’을 소개하며, 어떻게 토스의 속도와 품질을 동시에 만족시키는지 설명합니다.
무신사 기술블로그
MATCH란 무엇인가
무신사는 방대한 고객 행동 데이터를 실제 비즈니스 가치로 전환하기 위해 개인화 시스템 ‘MATCH’를 구축하고 있습니다. 단순히 데이터를 수집하고 쌓아두는 것을 넘어, 적절한 타이밍에 고객에게 활용하여 성과를 만들어내는 인프라 구축 과정을 소개합니다.
의심했던 범인은 알리바이가 있었다.
무신사 창고 관리 시스템(MWMS)의 성능 개선을 위해 Spring Batch 구조를 변경하여 처리 시간을 크게 단축했음에도 불구하고, Jenkins 배치가 12분간 멈추는 새로운 문제가 발생했습니다. 이 글은 Java Flight Recorder(JFR)라는 도구를 활용하여 예상치 못했던 문제의 진짜 원인을 진단하고 해결한 과정을 다룹니다.
AI Weekly
AI Weekly Issue #521: The frontier just split into three markets
최첨단 AI 시장이 더 이상 하나의 기준으로 평가받는 단일 시장이 아니라는 분석이 나왔습니다. 이제 시장은 지능에 대한 접근을 통제하는 힘, 모델을 직접 소유하는 힘, 그리고 특정 작업에 어떤 모델을 사용할지 결정하는 힘, 이 세 가지 영역으로 나뉘어 경쟁이 펼쳐지고 있습니다. 따라서 단순히 벤치마크 점수가 가장 높은 연구소가 시장을 장악하는 것이 아니라, 수요를 조용히 통제하는 중개자가 가장 강력한 플레이어가 될 수도 있습니다.
오늘의 키워드
Red team AI Agent Benchmark Agent Distillation Inference Prompt LLM RAG