caveman — Claude의 토큰을 65% 절약하는 원시인 화법 스킬
· #AI #LLM #트렌드 #기술블로그
arXiv 논문
Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models
VLA(Vision-Language-Action) 모델이 로보틱스 데이터로 미세조정된 후에도 기존의 상식 및 사실 지식을 얼마나 유지하는지 측정하기는 어렵습니다. 이 연구는 에이전트가 텍스트 대신 행동을 통해 질문에 답하도록 하여 지식 보유 수준을 평가하는 새로운 프로토콜 ‘Act2Answer’를 제안하여, 모델의 지식과 제어 능력을 분리하여 분석합니다.
PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception
기존 멀티모달 평가 방식은 벤치마크 점수가 높아도 실제 성능의 취약점을 제대로 반영하지 못하는 한계가 있습니다. 이를 해결하기 위해, 인간의 인식과 유사하게 모델 성능을 세밀하게 평가하는 루브릭 기반 프레임워크 ‘PerceptionRubrics’를 제안하여 전체적인 의미 비교가 아닌 원자 단위의 정밀한 검증을 수행합니다.
SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History
언어 모델 에이전트의 스킬은 계속 변화하는 환경에 맞춰 발전해야 하지만, 기존 방식은 과거의 의사결정 기록을 버려 지속적인 개선이 어렵습니다. 이 논문은 수정, 평가, 기각된 대안 등 모든 의사결정 과정을 영구적으로 기록하여 에이전트 스킬의 지속적인 진화를 돕는 ‘SkillHone’ 프레임워크를 제안합니다.
ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving
MoE(Mixture-of-Experts) 모델 서빙 시 기존 라우터는 부하만 분산할 뿐, 전문가(expert) 사용 패턴을 고려하지 않아 지연 시간 불균형을 야기합니다. 이 연구는 요청의 프리필(prefill) 단계에서 활성화된 전문가 정보를 활용하여 디코딩 요청을 최적의 워커로 라우팅하는 ‘ELDR’ 기법을 제안함으로써 서빙 지연 시간을 줄입니다.
TurboServe: Serving Streaming Video Generation Efficiently and Economically
스트리밍 비디오 생성은 점진적으로 비디오 청크를 만들어내는 새로운 서빙 워크로드로, 세션 상태 유지 및 엄격한 지연 시간 충족 등 고유한 과제를 안고 있습니다. ‘TurboServe’는 이러한 스트리밍 비디오 생성 환경에 특화된 서빙 시스템으로, 효율적인 스케줄링과 메모리 관리를 통해 다중 사용자 환경에서 경제적이고 빠른 서비스를 제공합니다.
Hugging Face Blog
The State-Prediction Separation Hypothesis
기존 트랜스포머는 다음 토큰 예측과 미래 예측을 위한 상태 저장을 하나의 연산 흐름에서 처리하는데, 이 두 기능을 분리하면 성능이 향상될 것이라는 ‘상태-예측 분리 가설’을 제시합니다. 이 가설을 검증하기 위해 두 개의 독립적인 연산 스트림을 갖춘 새로운 트랜스포머 모델을 설계했으며, 실험 결과 다양한 모델 규모에서 일관되게 더 나은 성능을 보였습니다.
Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
GSO나 SWE-Perf 같은 코드 성능 최적화 벤치마크는 AI 코딩 에이전트의 발전을 측정하는 주요 지표로 사용되고 있습니다. 하지만 본 연구는 런타임 불안정성, 특정 벤치마크의 채점 방식, 이미 해결된 과제의 포함 여부 등이 점수에 영향을 미쳐 에이전트의 실제 능력을 제대로 반영하지 못할 수 있음을 지적합니다.
Ink3D: Sculpting 3D Assets with Extremely Complex Textures via Video Generative Models
기존 3D 생성 모델은 고품질의 기하학적 구조는 잘 만들지만, 학습 데이터 부족으로 복잡한 텍스처 표현에는 한계가 있었습니다. ‘Ink3D’는 이러한 격차를 해소하기 위해, 방대한 데이터로 학습해 시각적 패턴 생성에 뛰어난 대규모 비디오 생성 모델을 3D 에셋 제작에 접목한 새로운 프레임워크입니다.
GitHub Trending
usestrix/strix
Strix는 애플리케이션의 취약점을 찾아내고 수정하는 데 도움을 주는 오픈소스 AI 모의 해킹 도구입니다. 개발자는 이 도구를 활용하여 AI 기술을 통해 보안 문제를 사전에 발견하고 해결할 수 있습니다.
JuliusBrussee/caveman
Caveman은 Claude 모델이 마치 원시인처럼 간결하게 말하도록 하여 토큰 사용량을 65%까지 절감하는 코드 스킬입니다. 이 기술은 LLM API 비용을 줄이고 응답 속도를 개선하는 데 효과적인 방법을 제시합니다.
msitarzewski/agency-agents
Agency-agents는 프론트엔드 개발부터 커뮤니티 관리까지 다양한 역할을 수행하는 AI 에이전트 모음입니다. 각 에이전트는 고유한 성격과 전문성을 가지고 있어, 마치 하나의 완전한 AI 에이전시처럼 협력하여 복잡한 작업을 처리할 수 있습니다.
hasaneyldrm/exercises-dataset
이 프로젝트는 433가지 피트니스 운동에 대한 포괄적인 데이터셋을 제공합니다. 각 운동 항목은 이름, 종류, 목표 근육, 필요 장비, 설명, 썸네일 이미지 및 애니메이션 영상까지 상세한 정보를 포함하고 있어 피트니스 앱 개발 등에 유용하게 활용될 수 있습니다.
santifer/career-ops
Career-ops는 Claude Code를 기반으로 구축된 AI 기반 채용 검색 시스템입니다. 14가지 기술 모드, Go 언어로 작성된 대시보드, 이력서 PDF 생성 및 일괄 처리 기능 등을 제공하여 구직 과정을 자동화하고 효율성을 높여줍니다.
AI Weekly
AI Weekly Issue #510: Altman Offered Washington 5% of OpenAI. And 5% of Everybody Else.
샘 알트만은 미국 정부가 OpenAI를 포함한 주요 AI 기업들의 지분을 일부 인수하는 방안을 제안했습니다. 이는 정부가 프론티어 AI 산업을 단순히 지켜보는 것을 넘어, 개발과 감독에 직접 참여하는 주체로 나서기 시작했음을 의미하는 중요한 사건입니다.
오늘의 키워드
Vision Fine-tuning Agent Eval Multimodal LLM Transformer Claude Claude Code