그래픽스 분야의 에이전트 기반 기술 발전
Advances in Agentic Computer Graphics
이 보고서는 에이전트 기반 그래픽스 시스템의 통합 분류법을 제시하고, 대규모 분석을 지원하는 문헌 시스템을 개발함으로써 분야의 발전 추세와 개방된 도전 과제를 분석한다.
Wave Forcing: 초속 영상 생성을 위한 파동 강제법
Wave Forcing: Towards Speed-of-Light Streaming Video Generation
Wave Forcing(WF)은 다단계 노이즈 제거를 통해 실시간 장시간 영상 생성의 효율성과 품질을 개선하며, 5단계 WF는 Rolling Forcing과 동일한 전체 품질을 유지하면서 짧고 긴 영상 모두에서 동적도를 높인다. 시스템 효율성 실험에서는 4단계 WF가 8개의 H200 GPU에서 7.07배의 단일 GPU 종단 간 처리량을 달성한다.
SJTU-DENG-Lab/WaveForcing · GitHub README
WaveForcing은 블록-시퀀스 기반 스트리밍 비디오 생성을 위한 확산 모델로, Wave Parallelism과 WaveRT 런타임을 결합하여 효율적인 파이프라인 처리를 가능하게 합니다. 사용자는 8개의 GPU를 활용해 4단계 또는 5단계로 비디오 생성을 수행할 수 있습니다.
CoworkOS: Real-world Automation을 위한 에이전트 코워커 확장
CoworkOS:Scaling Agent Coworkers for Real-world Automation
CoworkOS는 장기적인 작업을 위한 일반적인 프레임워크로, 작업 전략과 실행 관리를 분리하여 높은 품질의 결과와 지속적인 모니터링을 가능하게 합니다. 다양한 벤치마크와 실제 애플리케이션에서 우수한 성능을 보여줍니다.
RUC-NLPIR/CoworkOS · GitHub README
CoworkOS는 복잡한 프로젝트를 코드, 연구, 문서, 발표, CAD, 블렌더 및 과학적 워크플로우로 계획부터 검증된 결과물까지 진행하는 오픈소스 협업 도구입니다. 사용자는 및 AI 에이전트가 동일한 작업을 검토하고 수정할 수 있으며, 구성 가능한 모델 서비스, 워크스페이스, 메모리 및 실행 기록을 통해 프로젝트를 로컬에서 관리할 수 있습니다.
비디오 생성과 에이전트의 융합: 에이전트 중심 비디오 생성 및 자기 개선
Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement
이 논문은 비디오 생성이 계획, 도구 사용, 피드백을 기반으로 한 에이전트 중심 생성으로 이동하고 있으며, 비디오 세계 모델을 통한 상호작용 환경에서의 에이전트 행동을 탐구하고 있다. 주요 결과로는 에이전트 중심 비디오 생성, 세계 모델링, 그리고 재귀적 자기 개선을 포함한 세 가지 방향을 제시하고 있다.
agentic-videogen/awesome-agentic-videogen · GitHub README
이 저장소는 agentic video generation, world modeling, RSI 관련 387개의 논문과 자원을 정리한 라이브 커뮤니티입니다. 사용자는 비디오 생성 프로세스, 상호작용, 모델 개발을 포함한 다양한 주제를 탐색할 수 있습니다.
CUA-Master: Open-World Recursive Improvements for CUAs
CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
CUA-Master는 개방된 세계 데이터와 이중 루프 구조를 기반으로 CUAs의 성능을 향상시킨 프레임워크로, 다양한 환경에서 높은 성능을 보여줍니다. 실험 결과, CUA-Master-27B는 여러 벤치마크에서 경쟁적인 성능을 달성했습니다.
xlyu0106/CUA-Master · GitHub README
CUAMaster는 컴퓨터 사용 에이전트를 확장하기 위한 오픈월드 재귀 개선 기반의 코드베이스로, 영상 데이터를 처리하여 검증된 시드 트랙을 생성하고, 자동으로 태스크를 합성하여 실행 가능한 벤치마크를 만드는 기능을 제공합니다. 사용자는 영상 처리, 태스크 합성, 트랙 수집, 모델 훈련 등의 단계를 통해 시스템을 활용할 수 있습니다.
로봇 사용 에이전트 연구의 개방형 접근
Democratizing Robot-Use Agents: A Unified Harness with Open Models
uni-robot-agent는 개방형 모델을 기반으로 한 통합 프레임워크로, Qwen3.8-Flash-Next가 RoboDojo 점수 31.39를 달성하며 기존 모델을 능가함. 이는 로봇 사용에 필요한 네 가지 핵심 능력을 함께 개발해야 함을 시사함.
Open-RUA/uni-robot-agent · GitHub README
uni-robot-agent는 로봇 사용을 위한 통합 프레임워크로, Codex와 Claude Code 런타임을 지원합니다. 주요 기능은 로봇 도구 호출, 라이브/저장된 에피소드 검사, 그리고 다양한 환경에서의 작업 지원입니다.
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
IdeaTaste는 LLM이 인간 연구자들의 연구 방향을 얼마나 잘 반영하는지 평가하는 벤치마크로, 현재의 AI 제안이 미래 논문과 비교해 26%의 인용 일치율과 18%의 아이디어 일치율을 보였다. 이는 구체적인 접근법과 연구 계획에서의 한계를 드러낸다.
cxcscmu/IdeaTaste · GitHub README
IdeaTaste는 연구 성향을 평가하기 위한 벤치마크로, LLM 에이전트가 2025년까지의 문헌을 읽고 연구 제안을 작성한 후, 2026년에 발표된 논문과 비교하여 평가합니다. 제안서와 논문은 인용 및 아이디어 측면에서 비교되며, 4가지 지표로 평가됩니다.
SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training
SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training
SWE-Trail은 이전 트레이젝션을 기반으로 새로운 트레이젝션을 수집하는 방식으로, 코드 에이전트의 학습 성과를 향상시킵니다. 이 방법은 테스트 시점에서 사용할 수 없는 조언에 의존하는 문제를 피하고, 트레이젝션 수집 과정에서 역사 정보를 활용합니다.
PhotoGuider: Composition-Aware Cropping and 360° View Framing with Explainable Photographic Assessments
PhotoGuider: Composition-Aware Cropping and 360^{circ} View Framing with Explainable Photographic Assessments
PhotoGuider는 360° 풍경 이미지에서 구성 기반의 캡처 방향 선택과 프레임링을 결합한 첫 번째 방법으로, 표준 2D 크롭 기준에서 최고의 mIoU 성능을 보여줍니다. 사용자 투표 실험에서 53.2%의 경우 최상위 결과를 얻었습니다.
NTUneillee/PhotoGuider · GitHub README
PhotoGuider는 360° 페르소레타나를 사용하여 사진을 프레임링하고, 구성, 정체성, 미학 등 네 가지 사진 평가 항목과 구성 설명을 제공하는 도구입니다. 사용자는 사진을 선택하고 조정하여 최종 결과를 얻을 수 있습니다.
복구 행동 분석을 통한 컴퓨터 사용 에이전트의 신뢰성 향상
Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay
이 논문은 컴퓨터 사용 에이전트의 복구 행동을 체계적으로 분석하고, 모델 기반 복구의 잠재력을 탐구한다. 실험 결과, 이상적인 복구는 모델의 숨겨진 작업 완료 능력을 해방시키고, 현재 에이전트는 복구 능력을 효과적으로 활용하지 못하는 것으로 나타났다.
BangProx/ReTRACE · GitHub README
ReTRACE는 컴퓨터 사용 에이전트의 회복 행동을 체계적으로 분석하기 위한 확장 가능한 프레임워크입니다. 목표 지향적 행동 재생을 통해 에이전트가 실패 후 이전 상태를 복원하는 능력을 신뢰성 있게 특징づ립니다.
Order-Only On-Policy Distillation
Order-Only On-Policy Distillation
이 논문은 교사의 토큰 확률 대신 순서 정보만을 기반으로 학생 모델을 훈련하는 방법을 제안합니다. 실험 결과, 이 방법은 기존의 OPD보다 성능이 향상되었으며, 순서 정보가 지식 전달에 더 중요한 역할을 한다는 것을 보여줍니다.
NorthCUA 기술 보고서: 대규모 경험을 통한 컴퓨터 사용 에이전트 가속화
NorthCUA Technical Report: Turbocharging Computer-Use Agents through Experience at Scale
NorthCUA는 대규모 경험을 기반으로 컴퓨터 사용 에이전트의 성능을 향상시키는 통합 시스템으로, 다양한 실행 가능한 작업을 제공하고, 장기적인 상호작용을 유지하며 결과를 기록하고 분석합니다. 이 시스템은 GUI 이해, 데스크톱 실행, 웹 상호작용 분야에서 최신 기술 수준을 달성했습니다.
beipo-ai/NorthCUA · GitHub README
NorthCUA Harness는 컴퓨터 사용을 위한 오픈소스 프레임워크로, 모델을 연결하여 작업을 실행하고 결과를 검사할 수 있습니다. 사용자는 데스크탑 및 웹 환경에서 작업을 수행할 수 있으며, 작업 결과를 추적하고 저장할 수 있습니다.
비디오 월드 모델에서 잠재적 예측 오류가 물리적 놀라움을 지원하는 조건
When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?
비디오 월드 모델의 예측 오류가 물리적 놀라움을 반영하는지 여부를 평가하기 위한 프레임워크를 제시하며, 모델의 예측 오류가 물리적 변화를 어떻게 반영하는지 분석하였다.
3-ml/jepa-surprise · GitHub README
이 저장소는 물리적 충격을 측정하는 데 사용되는 모델의 성능을 평가하기 위한 실험을 제공합니다. 주요 기능은 고정된 특징 추출, 기하학적 분석, 그리고 제어된 조작을 통해 모델의 물리적 이해 능력을 검증하는 것입니다.
Reviso: 비디오 캡션링에서 모든 시각 증거가 동일한 관심을 받을 필요는 없다
Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
Reviso는 비디오 캡션링에서 중요한 시각 정보를 우선적으로 포착하고, 정교한 관찰 전략을 통해 캡션 품질을 향상시키는 프레임워크이다. 실험 결과, Reviso는 기존 오픈소스 베이스라인을 능가하며, 후속 비디오 질문 답변에 더 효과적인 캡션을 생성한다.
CrossSWE: 코드 에이전트의 크로스 리포지토리 공동 개발 벤치마크
CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
CrossSWE는 165개 리포지토리와 20개 기술 분야, 13개 프로그래밍 언어를 포함한 171개 실제 사례를 기반으로 한 크로스 리포지토리 공동 개발 벤치마크로, 코드 에이전트의 협업 개발 능력을 평가합니다. 평가 결과, 가장 강력한 모델인 GPT-6.1 Sol도 Pass@1에서 58.48%에 머물며, 리포지토리 간 불일치가 가장 흔한 실패 유형으로 나타났습니다.
모드 통합을 위한 임베딩 연구의 통합적 접근
From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
임베딩 모델의 연구는 모드별로 분산되어 있었으나, 대비 학습과 트랜스포머 아키텍처를 중심으로 통합적 경향을 보이고 있다. 이 논문은 커버리지, 비교 가능성, 조합성이라는 세 가지 능력을 기반으로 통합적 접근을 제안한다.
codefuse-ai/Awesome-Omnimodal-Embeddings · GitHub README
이 저장소는 텍스트, 코드, 이미지, 비디오, 오디오, 그래프, 테이블, 타임시리즈 등 다양한 모드의 임베딩 기술을 종합적으로 정리한 자료입니다. 주요 기능은 각 모드별로 사용 가능한 임베딩 모델과 데이터셋, 벤치마크를 제공하여 다중 모달 분석 및 처리를 위한 기반을 제공합니다.
History Forcing: 장기적 비디오 세계 모델을 위한 역사 의존적 연속성 정제
History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
History Forcing은 학생 모델의 현재 예측을 제약하기 위해 풍부한 역사 정보를 활용하는 통합적인 온-정책 정제 프레임워크로, 장기적 비디오 생성에서 일관성을 유지하는 데 성공했습니다. 이 방법은 1.3B 모델에서 최고 성능을 달성하며, 15초 및 60초 비디오 생성에서 높은 VBench 점수를 기록했습니다.
ziplab/History-Forcing · GitHub README
History Forcing은 장기 영상 생성 및 시야 외 세계 모델링을 위한 오피셜 디스티л레이션 프레임워크입니다. 역사 정보를 기반으로 한 감독을 통해 일관된 장기 영상 생성과 타당한 시야 외 장면 진화를 지원합니다.
FLAMIA: FLash MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
FLAMIA는 Blackwell GPU에서 고성능 및 인과 안전성을 보장하는 어텐션 커널을 설계하여, MXFP8 경로로 전방 및 후방 어텐션 호출을 1.10~1.40배 가속화하였다. 이는 정밀도 손실 없이 저비트 하드웨어의 처리량을 효과적으로 활용함으로써, 훈련 안정성과 품질을 유지한다.
yandex-research/flamia-blackwell-attention · GitHub README
이 저장소는 NVIDIA Blackwell GPU를 위한 저비트 정밀도 어텐션 기능을 제공합니다. MXFP8 및 Mixed NVFP4/FP8 경로를 지원하며, BF16/FP16 입력 및 출력을 유지합니다. 사용 시 SM100 GPU와 CUDA 13 이상이 필요합니다.
시각적 참조 간극의 진단: 시각적 스캐폴드가 다중 모달 추론에서 해결할 수 있는 한계
Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
이 논문은 다중 모달 대형 언어 모델이 시각적 내용을 인식할 수 있지만, 여러 단계에서 신뢰할 수 있는 추론을 수행하는 데 어려움을 겪는다는 점을 지적한다. 참조 간극이 시각적 인식이 아닌 언어와 시각적 요소 간의 결합 실패로 인한 문제임을 밝히며, 태스크에 맞는 참조가 추론 정확도를 25%까지 향상시킬 수 있음을 보여준다.
regap-bench/ReGap-Bench · GitHub README
ReGap-Bench는 멀티모달 대규모 언어 모델(MLLMs)의 시각적 추론 능력을 평가하기 위한 기준 데이터셋입니다. 이 데이터셋은 시각적 참조가 추론 오류를 어떻게 해결할 수 있는지 분석하며, 다양한 작업과 참조 조건을 통해 모델의 성능을 평가합니다.
AI 동료로서의 능력 측정
Measuring AI Agents as Teammates with Collaborative Intelligence
AI 에이전트가 인간과 협업할 때의 협업 능력을 평가하기 위한 Collaborative Intelligence Benchmark가 제안되었다. 이 벤치마크는 240개의 작업을 통해 AI 에이전트의 협업 능력을 측정하며, 최고 모델도 82.2점이라는 낮은 점수를 기록했다.
zou-group/collaborative-intelligence · GitHub README
Collaborative Intelligence는 AI 에이전트가 팀원으로서 협업 능력을 평가하는 벤치마크입니다. 팀원이 문제를 일으키는 상황에서 모델이 올바른 결과를 도출하는지 확인합니다.
Avatar Intelligence: 인간의 주체성을 강화하는 지속적 개인 에이전트
Avatar Intelligence: Amplifying Human Agency Through Persistent Personal Agents
이 논문은 개인 에이전트가 인간의 주체성을 강화하여 목표 달성에 필요한 일상적인 감독을 줄이고 중요한 결정은 인간이 유지하도록 하는 방식으로 진보를 측정해야 한다고 주장합니다. 연구는 지속적 개인 에이전트의 성숙도 경로와 안전 메커니즘 등을 중심으로 이루어졌습니다.
DecisionRank: On-Policy Distillation for Decision-Model Rerankers
DecisionRank: On-Policy Distillation for Decision-Model Rerankers
DecisionRank은 생성 모델의 순위 지식을 결정 모델에 이식하기 위해 아이템 공간에서 온-정책 디스티л레이션을 도입하여 성능을 개선합니다. 이 방법은 다양한 벤치마크에서 생성 모델보다 우수한 성능을 보입니다.
DeFT-RAG: 다중 단계 질문을 자가 포함하는 하위 질문으로 분해하여 재사용 가능한 답변을 제공
DeFT-RAG: Decomposing Multi-Hop Questions into Self-Contained Sub-Questions with Reusable Answers
DeFT-RAG는 다중 단계 질문을 자가 포함하는 하위 질문으로 분해하여 LLM의 작업을 단순화하고, QA 캐시를 활용해 반복적인 답변을 줄이는 방법을 제안합니다. 이 방법은 MuSiQue, 2WikiMultiHopQA, HotpotQA 데이터셋에서 13개 기존 기법보다 정확도가 높습니다.
Dingyi-Kang/DeFT-RAG · GitHub README
DeFT-RAG는 다단계 질문에 대한 답변을 생성하기 위해 검색을 보완하는 프레임워크로, 자동으로 분해된 하위 질문을 처리하고 캐시를 활용해 효율성을 높입니다. 주요 기능은 하위 질문 분해, 세부 작업 처리, 그리고 QA 캐시입니다.
LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents
LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents
LEANGUARD는 도구 사용 에이전트의 행동을 정책에 따라 검증하여 불법적인 호출을 방지합니다. 정책 위반 호출은 피드백이나 증명 지도를 통해 수정할 수 있으며, 실험 결과에서 정책 위반 호출이 완전히 제거되었습니다.
DebarghaG/LeanGuard · GitHub README
LeanGuard는 AI 에이전트와 도구 사이에 위치해 정책 위반 호출을 거부하는 시스템입니다. 정책은 Lean 4 정의로 작성되어 검증이 가능하며, LeanGuard 엔진은 형식화된 시간 논리 의미와 일치합니다. 사용자는 라이브러리와 도구를 통해 정책을 구현하고, 백엔드와 연동하여 호출을 제어할 수 있습니다.
Library of Layers (LoL): 적응적 트랜스포머 레이어 순서 조정
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
LoL은 추론 중 레이어 순서를 동적으로 조정하여 문제 해결을 최적화합니다. 다양한 데이터셋에서 레이어 순서가 해결 전략에 따라 달라지고, 안전성 분석에서도 높은 정확도를 보입니다.
arahmani1/library-of-layers · GitHub README
이 저장소는 Library of Layers(LoL) 프로젝트의 코드로, 트랜스포머 레이어를 실행 시점에 적응적으로 정렬하는 기법을 구현합니다. 주요 기능은 다양한 데이터셋과 실험을 위한 준비 스크립트와 훈련/평가 스크립트를 제공하여, LoL 모델의 성능을 검증하고 비교할 수 있도록 합니다.
Jev의 크로스 프리미티브 일관성
Cross-Primitive Consistency in Jev
이 연구는 Jev에서 다양한 프리미티브 간 결정 일관성을 평가하고, CPRC를 제안하여 일관성을 개선함으로써 결정 신뢰도를 높이는 방법을 제시한다. 실험 결과, CPRC는 도메인 내외에서 일관성과 정확도를 동시에 향상시킨다.
67L1/PrimaCons-CRPR · GitHub README
이 저장소는 Jev 모델의 크로스 프리미티브 일관성을 평가하고 개선하기 위한 도구로, 데이터 준비, 모델 훈련, 실시간 추론 및 벤치마크 평가 기능을 제공합니다. 사용자는 다양한 축을 기반으로 모델의 성능을 검증할 수 있습니다.
BYOD: Build Your Own DLM - 효율적인 자동회귀-확산 언어 모델 전환
BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
BYOD는 LoRA 기반의 파라미터 효율적인 자동회귀 모델을 확산 언어 모델로 전환하는 방법으로, 다양한 모델에서 성공적으로 적용되었다. 그러나 낮은 네트워크 함수 평가 예산에서의 생성 품질은 여전히 주요 한계로 남아 있다.
RuurdKuiper/BYOD · GitHub README
BYOD은 지시 모델을 단일 GPU로 양방향 마스킹 확산 언어 모델로 변환하는 프로젝트입니다. 사용자는 Colab 노트북을 통해 모델을 선택하고 훈련하며, 훈련 중단 후에도 추론을 계속할 수 있습니다.
MAServeBench: 멀티 에이전트 LLM 서비스 시스템 벤치마킹
MAServeBench: Benchmarking Multi-Agent LLM Serving Systems with Hierarchical Collaboration Workloads
MAServeBench는 멀티 에이전트 시스템의 협업 규칙을 반영한 서비스 워크로드를 생성하여, LLM 서비스 시스템의 성능을 평가하는 벤치마크 도구입니다. 이 도구는 작업 흐름에 따라 에이전트 간의 컨텍스트 교환과 의존성을 기반으로 다양한 워크로드를 생성하여, 서비스 효율성과 작업 완료 시간 간의 차이를 분석합니다.
ShengxuanQiu/MAServeBench · GitHub README
MAServeBench은 멀티 에이전트 서비스 워크로드를 생성, 기록, 그리고 OpenAI 호환 vLLM 엔드포인트에서 재생하는 도구입니다. 주요 기능은 Spawn, Fork–Join, Refinement Loop, Debate 네 가지 단계 패밀리로 구성된 워크로드 구축 및 실행입니다.
보조 보상 기반 자기 개선: 검증된 추적에서 배우기 및 이전 평가
Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
UID-Conj. 메트릭은 TTRL 대비 2.08% 포인트 향상된 성능을 보이며, 보조 추적 선호도가 소형 언어 모델의 자기 개선과 이전 성능에 긍정적인 영향을 미친다는 것을 입증했습니다. 이는 작업에 따라 성과가 달라진다는 점도 확인되었습니다.
Multi-Agent Relay Thinking
Multi-Agent Relay Thinking
이 논문은 Multi-Agent Confidence-guided Relay(MACR) 프레임워크를 제안하여, 에이전트 간의 동적 추론 전달을 통해 협업 성능을 향상시켰다. 실험 결과, MACR은 기존의 단일 모델 전략을 능가하며, 토큰 오버헤드를 줄이는 데 성공했다.
67L1/MACR · GitHub README
MACR는 머신러닝 모델을 위한 코드 리뷰 도구로, 코드 품질 개선과 버그 예방을 목표로 합니다. 사용자는 코드 변경 사항을 검토하고, 자동화된 분석을 통해 개발 효율성을 높일 수 있습니다.
ProVe: Proposer-Verifier Decoding
ProVe: Proposer-Verifier Decoding
ProVe는 대형 모델이 토큰을 예측하고, 소형 모델이 검증하는 방식으로 자동회귀 언어 모델의 해석 속도를 향상시킵니다. 32B 규모의 Proposer를 사용한 ProVe-lossless는 AR throughput을 2.5배로 증가시켰습니다.
DR Pixel: Page-Native Deep Research with Vision-Language Models
DR Pixel: Page-Native Deep Research with Vision-Language Models
DR Pixel은 렌더링된 문서 페이지 이미지를 단위로 하는 첫 번째 오픈소스 멀티모달 DR 에이전트로, OCR 기반 기존 방법보다 더 효과적이고 효율적인 문서 분석을 가능하게 합니다. 연구 결과는 페이지 네이티브 접근법이 기존 기준을 초월하는 성능을 보여줍니다.
StarTrail-org/DRPixel · GitHub README
DRPixel은 과학 논문의 테이블, 그림, 수식 등 시각적 내용을 함께 처리할 수 있는 페이지 기반의 깊은 연구 에이전트입니다. 사용자는 OpenAI 호환 모델을 통해 500개의 질문을 평가하고, 1.06M 페이지의 데이터를 기반으로 성능을 측정할 수 있습니다.
코드 에이전트의 지속적 진화 없이 잊지 않는가?
Can Coding Agents Sustain Continual Evolution without Forgetting?
이 논문은 코드 에이전트가 여러 작업 유형을 처리하면서 지속적으로 진화하는 데서 catastrophic forgetting이 발생하는지 조사하였다. 실험 결과, 후속 데이터셋의 진화가 이전 데이터셋 성능을 크게 저하시킬 수 있음을 보여주었다.
THU-Agent/continual-harness-evolution · GitHub README
이 저장소는 코드, 데이터 분할, 실험 구성 등을 포함하여 코딩 에이전트의 지속적 진화를 연구하기 위한 실험을 제공합니다. 주요 기능은 다양한 소프트웨어 엔지니어링 작업 유형에서 에이전트의 헤르스를 연속적으로 진화시키며, 이전 작업에서 획득한 기능이 유지되는지 측정하는 것입니다.
온-파olicy 자기-디스티л레이션과 선생님 진화
On-Policy Self-Distillation with Teacher Evolution
TESD는 자기 선생님의 지도 신뢰도를 평가하여 학생 모델의 성능을 개선함으로써 OPSD의 감독 품질 향상을 강조합니다. 실험 결과, TESD는 대표적인 토큰 및 시퀀스 수준 방법보다 우수한 성능을 보입니다.
비전-언어 모델의 3D 추론 실패 원인 분석
Where Do Vision Language Models Fail at 3D Reasoning?
비전-언어 모델은 3D 객체의 정확한 속성을 회복하고 일관되게 사용하는 데 어려움을 겪는다. 특히 색상 계산에서 인간의 정확도는 93.3%이지만 최고 모델도 7.2%에 불과하다.
leduckhai/BedBench · GitHub README
BedBench은 비전-언어 모델이 3D 객체의 정확한 속성을 이해하고 일관되게 사용할 수 있는지 평가하는 제어된 벤치마크입니다. 사용자는 3D 공간 추론 능력을 테스트하는 13가지 작업을 통해 모델의 성능을 확인할 수 있습니다.
튜토리얼 비디오를 통한 대규모 언어 모델 에이전트의 학습 가능성
Can Large Language Model Agents Learn by Watching Tutorial Videos?
튜토리얼 비디오를 기반으로 한 새로운 학습 방식인 TAL을 제시하며, 이는 파라미터 업데이트 없이 지속적인 학습을 가능하게 합니다. VidLearn 데이터셋에서 TAL은 기존 모델보다 우수한 성능을 보여줍니다.
음악 오디오 생성 모델의 기술적 개요
A Tutorial on Generative Models for Music Audio
이 문서는 음악 오디오 생성 시스템의 핵심 방법론을 설명하며, 신경망 트레이닝에 익숙한 개발자에게 음악 생성에 대한 통합적인 이해를 제공합니다. 주요 결과로는 생성 모델의 다양한 접근법과 음악 생성에 필요한 데이터 처리 및 평가 방법이 제시되었습니다.
레이어별 오류 모델 검색을 통한 SVD 기반 LLM 압축 기법 개선
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
이 논문은 LLM의 계산 비용을 줄이기 위한 저ank SVD 기반 압축 기법의 한계를 해결하기 위해 레이어별 오류 모델 검색(LEMS)과 KFAC-SVD를 제안합니다. LEMS는 ILP 형식을 통해 효과적인 글로벌 랭크 할당을 가능하게 하며, KFAC-SVD는 토큰별 통계를 활용해 분해 품질을 개선합니다.
lems-svd/lems · GitHub README
이 저장소는 LLM 압축을 위한 Layer-wise Error Model Search(LEMS)와 KFAC-SVD 기법을 제공합니다. 주요 기능은 계층별 오류 모델링을 통한 효율적인 랭크 할당과 토큰 통계를 활용한 분해 품질 개선으로, Mistral, Qwen3, Llama-3 계열 모델에서 성능 향상을 입증했습니다.
SIMIT: Self-Improving Vision-Language Models via Imagination at Test-Time
SIMIT: Self-Improving Vision-Language Models via Imagination at Test-Time
SIMIT는 테스트 시간에 모델이 자체적으로 학습 데이터를 생성하여 성능을 향상시키는 프레임워크입니다. 다양한 멀티모달 작업을 지원하며, 생성된 데이터는 모델의 내재적 학습 또는 가중치 업데이트를 통해 성능을 개선합니다.
monurcan/simit_paper · GitHub README
SIMIT은 테스트 시간에 모델이 자체적으로 학습 데이터를 생성하여 성능을 향상시키는 프레임워크입니다. 다양한 멀티모달 작업을 지원하며, 합성된 데이터를 통해 모델을 테스트 시간에 개선합니다.
WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
WorldFlow는 비디오와 3D 운동을 동시에 예측하는 통합적인 세계 모델로, 물리적 동작을 효과적으로 예측할 수 있는 새로운 접근법을 제시합니다. 실험 결과, WorldFlow는 평균 이동 오차(ADE)와 최종 이동 오차(FDE)에서 다른 학습 기반 방법들보다 우수한 성능을 보입니다.
worldflow-rbs/worldflow · GitHub README
WorldFlow는 단일 RGB 관측, 언어 지시 및 3D 쿼리 포인트를 입력으로 받아 미래 비디오와 3D 운동을 동시에 예측하는 생성형 월드 모델입니다. 대규모 사전 학습을 통해 시뮬레이션, 실제 로봇 및 인간-물체 상호작용 등 다양한 환경에서 고도의 3D 운동 예측을 제공합니다.
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
DAMI는 Gated Linear Attention에서 장문 컨텍스트 검색을 개선하기 위해 메모리 초기화 파라미터를 공동으로 구성하는 방법입니다. 실험 결과, DAMI는 기존 랜덤 초기화 대비 검색 정확도를 5.29~16.71% 포인트 향상시켰습니다.
SpeedAI-Lab/DAMI · GitHub README
DAMI는 Gated Linear Attention에서 장문 맥락 검색을 개선하기 위해 두 축 메모리 초기화를 도입한 모델입니다. 저장소는 15가지의 아키텍처 및 초기화 조합을 지원하며, 다양한 실험 결과와 체크포인트를 제공합니다.
Lab2Sim: 실생활 실험 영상의 인터랙티브 가상 실험으로 변환
Lab2Sim: Turning Real-World Experiment Videos into Interactive Virtual Experiments
Lab2Sim은 218개의 과학 실험 영상과 기반 지식을 바탕으로 한 평가 기준을 포함한 벤치마크로, EduVideo2Code를 통해 실험 절차를 계층적으로 추출하고 상태 기계로 인코딩하여 코드 생성을 지원합니다. 실험 결과는 기존 멀티모달 모델보다 장비 재현 정확도가 24.15점 향상되었습니다.
black1948/lab2sim · GitHub README
이 저장소는 실제 실험 영상으로부터 상호작용 가능한 가상 실험을 생성하는 Lab2Sim 프로젝트의 공식 저장소입니다. 사용자는 실험 영상을 입력으로 제공하여 가상 실험 환경을 생성할 수 있습니다.
TinyAstral: Self-Evolving Harnesses를 통한 Tiny Generalist Manipulation Agents로의 전이
TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents
TinyAstral은 대규모 트레이너의 헤르시를 개선하여 소형 에이전트로 전이하는 두 단계 접근법을 제시한다. 헤르시 진화는 트레이너 성공률을 33.4%에서 63.6%로 향상시키며, 최종 4B 학생 모델은 62.8% 성공률을 달성한다.
Garfield-kh/TinyAstral · GitHub README
TinyAstral은 대규모 트레이너 모델의 성능을 유지하면서 파라미터 수를 줄인 소형 학생 모델을 만드는 프레임워크입니다. 이 프로젝트는 실제 로봇 제어까지 가능하며, Huawei Ascend Atlas A2에서 실행됩니다.
TaoMate-FVSR: Audio-Guided Facial Video Restoration
TaoMate-FVSR:Audio-Guided Facial Video Restoration
이 논문은 음성에 의한 얼굴 영상 복원을 위한 프레임워크를 제시하며, 복원된 입술과 이가 음성과 일치하는지 확인하는 문제를 해결합니다. 실험 결과, 대화형 얼굴 복원 데이터셋에서 최고의 시각적 유사도와 동기화 점수를 달성했습니다.
TaoLiveAIGC/TaoMate-FVSR · GitHub README
TaoMate-FVSR은 오디오 조건부로 얼굴 영상 복원을 수행하며, 희소한 시각 참조와 생성된 프레임 역사를 활용합니다. 사용자는 원본 오디오나 대체 음성으로 복원을 수행할 수 있으며, 다양한 참조 이미지와 프레임 크기 조정을 지원합니다.
When Morphs Look Better: Face Image Quality as a Training-Free Signal for Morphing Attack Detection
When Morphs Look Better: Face Image Quality as a Training-Free Signal for Morphing Attack Detection
이 논문은 얼굴 이미지 품질 평가(FIQA)를 변형 공격 탐지(MAD) 신호로 활용하여 훈련 없이 공격을 탐지하는 방법을 제시합니다. 실험 결과, DifFIQA(R)는 FRLL 데이터셋에서 다른 FIQA 방법들보다 우수한 성능을 보였습니다.
gurayozgur/FIQA-as-MAD · GitHub README
이 저장소는 페이스 이미지 품질 평가(FIQA) 방법을 사용하여 훈련 없이 모르핑 공격을 탐지하는 기법을 제공합니다. 17개의 FIQA 방법을 두 데이터셋에서 평가하여 공격 탐지 성능을 비교하고,_signed separation_을 통해 공격의 방향과 강도를 분석합니다.
VisSearch-Bench: 시각 검색 평가 체계
VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents
VisSearch-Bench는 7개 주요 분야와 25개 하위 분야를 포함한 204개의 인간 작성 태스크로 구성된 시각 검색 평가 플랫폼이다. 16개의 멀티모달 모델 중 최고 성능 모델도 태스크의 26.47%만 완전히 해결할 수 있음을 보여준다.
antins-labs/VisSearch-Bench-v1 · GitHub README
VisSearch-Bench은 멀티모달 에이전트의 시각 검색 능력을 평가하는 벤치마크로, 204개의 인간 작성 태스크와 다섯 가지 검색 가족, 7개의 주요 도메인을 포함합니다. 이 저장소는 시각적 맥락 관리와 검색 과정에서의 정확성과 완성도를 평가합니다.
NitroFusion2: 텍스트 스트림에 앙상블 손실 도입
NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
NitroFusion2는 멀티모달 디퓨전 트랜스포머의 텍스트 스트림을 앙상블 손실을 활용한 새로운 표현으로 활용하여, 적은 단계로도 높은 품질의 결과를 도출합니다. 이 기법은 텍스트 스트림이 이미지 정보를 읽으면서도 텍스트 조건에 의존하므로, 조건 변경 시 추출 정보가 달라지는 특성을 활용하여 훈련 과정에서 강조할 속성을 조절합니다.
ChenDarYen/NitroFusion2 · GitHub README
NitroFusion2는 멀티모달 디퓨전 트랜스포머의 텍스트 스트림에 적대적 손실을 도입한 1~2단계 텍스트-to-이미지 모델입니다. 텍스트 조건에 따라 생성된 이미지의 품질을 개선하고, 다양한 씨유를 통해 특정 측면에 집중할 수 있습니다.
RoboTryOn: 인간 영상에서 로봇 시연 생성
RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
RoboTryOn은 인간 영상에서 로봇의 시연을 생성하여 새로운 작업에서 정책 학습을 개선합니다. 실험 결과, 합성 데이터를 사용한 정책은 실제 로봇 시연 없이도 복잡한 작업 성공률을 2%에서 60%로 크게 향상시켰습니다.
ryan-seungyong-lee/RoboTryOn · GitHub README
RoboTryOn은 인간 동영상에서 로봇의 동작을 생성하는 기술로, 인간의 동작을 유지하면서 목표 로봇에 대한 의상 교체를 수행합니다. 주요 기능은 이미지 모델, 비디오 합성 모델, 행동 라벨링 모델로 구성되어 있으며, 사용자는 인간 동영상과 목표 로봇의 설명을 입력하여 결과를 생성할 수 있습니다.
GigaSpeech 3: 다국어 아랍어 음성 인식을 위한 약하게 라벨링된 데이터 확장
GigaSpeech 3: Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data
GigaSpeech 3는 39,000시간의 약하게 라벨링된 아랍어 음성 데이터를 포함하며, 다국어 음성 인식 성능을 향상시켰습니다. 이 데이터는 다섯 가지 방언을 포함하며, 최종 모델은 23.86%의 매크로 평균 단어 오류율을 달성했습니다.
Antares-97/GigaSpeech3 · GitHub README
GigaSpeech 3는 약 10만 개의 음성 세그먼트를 포함한 대규모 약한 라벨 데이터셋으로, 알제리어, 이집트어, 이라크어, 사우디어, 시리아어 등 5개 방언을 지원합니다. 이 데이터셋은 방언별 및 다방언 자동 음성 인식(ASR) 연구에 활용할 수 있으며, 약한 감독 학습과 저자원 음성 연구에 적합합니다.
PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
PyRUA-DataFarm은 LLM 에이전트를 활용해 텔레오퍼레이터의 역할을 대체하여, 실제 환경에서 사용할 수 있는 로봇 데이터를 저비용으로 생성합니다. 실험 결과, 농장 데이터만으로 학습한 정책이 텔레오퍼레이션 데이터와 유사한 성능을 보이며, 추가 비용 없이 자동화된 작업이 가능합니다.
DAGroup-PKU/PyRUA-Lean · GitHub README
PyRUA-Lean은 로봇 사용 에이전트를 위한 토큰 효율적인 프레임워크로, 도구 호출보다 성공률이 높으며 로봇과 벤치마크 간 일반화가 가능합니다. 주요 기능은 로봇 프리미티브와 VLA 정책을 결합한 파이썬 코드 생성 및 RoboDojo 벤치마크에서의 성공률 개선입니다.
VeriSpoof: One Audio LLM Beyond Real or Fake
VeriSpoof: Beyond Real or Fake with One Audio LLM
VeriSpoof은 다섯 가지 태스크를 통합하여 음성 깊은 페이크 탐지와 생성자 분류, 기록 조건 분석 등을 수행합니다. 연구 결과, VeriSpoof-Plus는 2.14%의 평균 EER을 기록하며, 오픈 가중치 시스템 중에서는 최고 성능을 보입니다.
swagshaw/verispoof · GitHub README
VeriSpoof은 하나의 통합된 음성 LLM을 통해 말의 깊은 가짜를 감지하고, 원천을 확인하며, 결과를 설명하는 기능을 제공합니다. 저장소는 추론 패키지, 기술 보고서, 평가 도구를 포함합니다.
Sketchpad: certified exact arithmetic with a small vision-language model
Sketchpad: certified exact arithmetic with a small vision-language model
Sketchpad은 외부 작업 메모리의 제한된 시야만 읽는 네트워크를 통해 모든 입력 길이에서 정확성을 보장합니다. 이 모델은 정확한 계산을 수행하며, 다양한 수학적 연산을 성공적으로 처리했습니다.
NeoVand/sketchpad · GitHub README
Sketchpad은 정확한 산술 계산을 보장하는 소형 시각-언어 모델을 기반으로 한 저장소입니다. 사용자는 브라우저에서 장수산 계산을 시각적으로 수행할 수 있으며, 모든 계산 단계는 모델이 직접 처리합니다.
VidUEU-Agent: 다중 모달 이해 및 통합 작업을 위한 데이터 큐레이션 에이전트
VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks
VidUEU-Agent는 원시 영상을 정밀한 지시 데이터로 변환하여 다중 모달 이해 및 통합 작업을 지원하는 자동화 파이프라인을 제시합니다. VidUEU-100K 데이터셋을 통해 다양한 베이스라인 모델의 성능 향상이 입증되었습니다.
LRuca/VidUEU-Agent · GitHub README
VidUEU-Agent는 비디오에서 증거 기반의 다중 모달 지시 데이터를 생성하기 위한 에이전트 파이프라인입니다. 주요 기능은 비디오의 이해, 편집, 통합 작업을 지원하며, 다양한 시나리오에서 사용할 수 있습니다.
Think Less, Locally: 로컬 선호도 학습을 통한 추론 압축
Think Less, Locally: Local Preference Learning for Reasoning Compression
LoCo는 모델의 자체 추적을 기반으로 과도한 추론 상태를 탐지하고, 이를 통해 짧은 추론 경로를 학습하여 정확도와 효율성을 균형 있게 개선합니다. 수학 및 코드 생성 작업에서 성능을 높이며, 다양한 도메인에서 일반화된 성능을 보입니다.
MuyaoYuan/LoCo · GitHub README
LoCo는 추론 모델의 사고 과정을 자체 추적을 통해 압축하는 로컬 선호도 학습 기법으로, 수학 및 코드 생성 작업에서 효율성을 높이면서 정확도를 유지합니다. 이 저장소는 수학 문제와 코드 생성을 위한 다섯 가지 수학 및 세 가지 코드 생성 벤치마크에서 최적의 성능을 보입니다.
비디오 대화에서 MLLM의 기억 능력 평가
VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
VideoMemBench는 비디오 대화 중 모델이 이전 대화 내용을 기억하는 능력을 평가하는 새로운 데이터셋으로, 각 대화 턴 간의 의존성을 고려하여 설계되었다. 이 데이터셋을 통해 MLLM들의 비디오 기억 능력이 현저히 부족함을 확인하였다.
Oliiveralien/VideoMemBench · GitHub README
VideoMemBench은 멀티 턴 비디오 대화에서 모델이 비디오 메모리에 얼마나 잘 기억하는지를 평가하는 저장소입니다. 주요 기능은 에피소드적 의존성과 답변 의존성을 기반으로 한 평가 프로토콜이며, 사용 조건은 128 프레임과 시퀀셜 세프 롤아웃을 사용하는 것입니다.
YANAMI: 다중모달 다이얼로그 데이터셋 및 벤치마크
YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
YANAMI는 다중모달 상태 유지 대화를 위한 첫 번째 대규모 데이터셋 및 벤치마크로, 40만 개 이상의 다중모달 다이얼로그를 포함합니다. 실험 결과, BAGEL 모델의 훈련 성능이 향상되었음을 보여줍니다.
ToolSpace: 도구 중심 환경 합성 확장
ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents
ToolSpace는 실제 실행 트레이스와 오픈 에이전트 코르푸에서 도구 구성 그래프를 추출하여 환경을 합성하는 도구 중심 프레임워크이다. 이는 기존 데이터 중심 접근법과 달리 실행 기반의 도구 조합을 가능하게 하여 성능 향상을 이끌어낸다.
dongguanting/ToolSpace · GitHub README
ToolSpace는 실제 도구 추적을 기반으로 실행 가능한 환경과 장기 목표를 합성하는 프레임워크입니다. 주요 기능은 유형 의존성, 상태 인식 워크플로우, 재생 검증을 통해 다양한 장기 목표 작업을 지원합니다.
PrimeSim: 대규모 크로스 업버디먼트 디모스트레이션을 통한 일반 세계 모델 시뮬레이터
PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
PrimeSim은 명령된 행동을 정확히 따르고, 여러 카메라 시점에서 일관성을 유지하며, 장기적인 시뮬레이션을 가능하게 하는 세계 모델 시뮬레이터이다. 이는 프리트레이닝된 비디오 생성기에서 시작하여 중간 트레이닝과 후트레이닝을 통해 개선되었다.
primebottech/primesim · GitHub README
PrimeSim은 로봇 시뮬레이션을 위한 일반적인, 행동 조건부, 다각시(robot world model)로, 30,110시간의 크로스-embodiment 로봇 시범 데이터를 기반으로 훈련되었습니다. 주요 기능은 다체계 표현, 다각시 적응, 로봇 행동 제어, 포스트 트레이닝 파이프라인입니다.
SphereFlow: 지오메트릭 트랜스포트를 통한 결측 모달리티 보완
SphereFlow: Missing Modality Imputation via Geometric Transport on Hypersphere
SphereFlow는 다양한 모달리티를 공유된 하이퍼스피어 잠재공간에 프로젝션하여, 단기적 기하학적 이동을 통해 결측 모달리티를 보완하는 새로운 접근법을 제시합니다. 실험 결과, BraTS 다중 모달리티 MRI 보완 및 CT-MRI 번역에서 최첨단 생성 정확도를 달성했습니다.
WTHH031230/SphereFlow · GitHub README
이 저장소는 NeurIPS 2026 논문에서 제시된 SphereFlow 모델을 위한 코드 및 데이터를 제공합니다. 이 모델은 MRI와 CT 데이터 간의 결측 모달리티를 보완하기 위해 하이퍼스피어에서 기하학적 이동을 활용합니다. BraTS 2023과 SynthRAD2023 데이터셋에서 평가되었습니다.