스케일링을 통한 AGI 발전은 시스템-1과의 협업에 의존하는가?
Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?
이 논문은 AGI 발전을 위해 시스템-2의 스케일링 대신 시스템-1과의 협업이 필요하다고 제안하며, 유용성 관련 상호작용 밀도(ρ_u)가 스케일링 효율의 측정 가능한 좌표임을 주장한다.
R^2Orch: Recursive Self-Improvement for Agent Orchestration
R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
R^2Orch는 자기 게임을 통한 자기 개선을 기반으로 한 새로운 오케스트레이션 학습 패러다임을 제안하며, 실험 결과를 통해 질문 답변, 수학, 코드, 인터랙티브 작업 등 다양한 작업에서 기존 기법보다 우수한 성능을 보여줍니다. 이 방법은 자기 게임 내부 루프와 외부 루프를 통해 오케스트레이터의 능력을 지속적으로 개선합니다.
beita6969/R2Orch · GitHub README
R²Orch은 자가 학습을 통한 에이전트 오케스트레이션을 위한 프레임워크로, Director가 작업별 에이전트 그래프를 생성하고, Workers가 실행합니다. 주요 기능은 Recursive Self-Play Orchestration, Recursive Learnability, Skill Withdrawal입니다.
연속 공간에서의 잠재적 추론을 통한 통합 다모델
Latent Reasoning in Continuous Space for Unified Multimodal Models
LARC는 토큰 기반 추론의 한계를 극복하여 이미지 생성의 품질과 제어력을 향상시켰습니다. 실험 결과, LARC는 GenEval에서 BAGEL 대비 7% 성능 향상을 보이며 테스트 시간 확장성을 갖추고 있습니다.
rootyJeon/LARC · GitHub README
이 저장소는 통합 다모달 모델을 위한 잠재적 추론 공간에서의 연속 공간 추론(LARC)을 위한 공식 구현입니다. 현재 추론 코드, 훈련 코드 및 평가 코드는 준비 중이며, 2026년 11월 9일에 공개 예정입니다.
아프릴 보이스 27B 프리뷰: 음성, 추론 및 도구 사용을 위한 오픈 모델
Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use
아프릴 보이스 27B 프리뷰는 음성 인식을 넘어 요청 이해, 맥락 추론, 대화 유지 및 도구 사용을 통합한 오픈 스피치-언어 모델로, 대화 성공률 65.51%와 1.91초 평균 지연 시간을 기록했습니다.
FrameForge: 비디오 기초 모델의 우선순위를 활용한 통합 이미지 생성
FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation
FrameForge는 입력에 따라 조건-타겟 관계를 적응적으로 모델링하여, 다양한 생성 작업에서 우수한 성능을 보입니다. 실험 결과, 주제 기반 생성, 캐니-이미지 생성 및 이미지 편집에서 다른 방법들보다 우수한 성능을 달성했습니다.
Lyne1/FrameForge · GitHub README
FrameForge는 HunyuanVideo 1.5의 시간적 사전을 활용하여 주제 기반 생성, Canny-to-image 생성, 지시 기반 이미지 편집 세 가지 작업을 하나의 모델로 수행합니다. 사용자는 512x512 픽셀의 입력 이미지를 제공하여 512x512 출력 이미지를 생성할 수 있습니다.
Follow the Gradient: 트레이닝 데이터에서 안전성 저하 추적
Follow the Gradient: Tracing Safety Degradation Back to Training Data
SimpleLoRIF라는 새로운 기법을 통해 미세 조정 과정에서 안전성 저하를 감지하고, SafeTulu라는 안전한 모델 버전을 개발하였다. 이 기법은 미세 조정 데이터의 기울기 분석을 통해 위험한 행동과 연결된 데이터를 제거함으로써 공격 성공률을 감소시켰다.
ReLift: Dense 3D Tracking as Lifted Trajectory Repair
ReLift: Dense 3D Tracking as Lifted Trajectory Repair
ReLift는 3D 기하학 모델과 사전 학습된 2D 추적기 기반의 효율적인 피드포워드 프레임워크로, 밀도 높은 3D 추적을 기하학적 트랙터 수리 및 완료로 재정의합니다. 이 방법은 트랙터 정제를 통해 추적 정확도를 향상시키며, WorldTrack에서 최고 수준의 정확도를 달성했습니다.
ReLift3D/ReLift · GitHub README
ReLift는 밀도 높은 2D 포인트 추적기와 비디오 3D 기하학 모델을 사용하여 모든 픽셀의 3D 트랙을 생성합니다. 추적된 픽셀은 카메라 레이의 예측 깊이에 따라 들어올라가며, 작은 트랜스포머인 정정기로 트랙을 수리하고 완성합니다.
CEPO: Multi-Agent 시스템에서 프롬프트 최적화 개선을 위한 일반 프레임워크
CEPO: A General Framework for Improving Prompt Optimization in Multi-Agent Systems
CEPO는 Multi-Agent 시스템에서 시스템 수준의 협업과 에이전트 수준의 실행을 분리하여 프롬프트 최적화를 개선하는 일반 프레임워크로, 다양한 도메인에서 기존 최적화기의 성능을 향상시켰다.
mlvlab/CEPO · GitHub README
CEPO는 다중 에이전트 시스템에서 프롬프트 최적화를 개선하기 위한 일반 프레임워크입니다. 이 프레임워크는 공유된 조정 프롬프트와 에이전트별 실행 프롬프트를 분리하여 기존 최적화 도구와 결합해 단계적으로 최적화합니다.
Wizard: Real-time Agentic Control for Customizable Game Worlds
Wizard: Manipulate Any World in Real Time via Agentic Control
Wizard는 다양한 장면과 캐릭터에 대해 제로샷 일반화를 가능하게 하며, 플레이어가 실시간으로 캐릭터 동작을 정밀하게 제어할 수 있는 게임 월드 모델을 제시합니다. 이는 구조화된 프록시 기반 생성과 아게이트 제어를 결합하여 시각적 품질과 게임 플레이 일관성을 유지합니다.
HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
HiFOR은 시각-언어-행동 모델에서 미래 예측을 통한 환경 역학과 작업 진행 이해를 개선하기 위한 계층적 전망 프레임워크이다. 실험을 통해 제안된 접근법이 효과적임을 입증하였다.
Venus-DefakerOne2: 시각 보안 기반 모델의 확장
Venus-DefakerOne2: A Vision-Forensics Foundation Model with Broader Coverage
Venus-DefakerOne2는 다양한 위조 형태와 미디어 유형을 포괄하는 통합적인 보안 기반 모델로, 딥페이크 얼굴, AI 생성 이미지, 물리적 사기 등 다양한 테스트에서 최고 성능을 보여준다. 이 모델은 전문 모델과 이전 버전인 DefakerOne보다 우수한 성능을 제공한다.
inclusionAI/DefakerOne2 · GitHub README
DefakerOne2는 디지털 및 물리적 조작을 포함한 이미지와 영상의 포르지어 탐지 기능을 통합한 비전 포렌식 기반 모델입니다. 주요 기능은 AI 생성 콘텐츠 탐지, 딥페이크 얼굴 탐지, 문서 조작 탐지 등이며, 다양한 데이터셋에서 우수한 성능을 보입니다.
시각 기초 모델의 공간 상태 표현 탐구
Probing Spatial State Representations in Visual Foundation Models
시각 기초 모델이 공간 상태를 유지하고 예측하여 행동을 지도하는 능력이 있는지 조사하였다. 결과적으로 물체 지속성과 행동 가능성은 카메라 위치 해석에 의존하고, 특징 예측은 시야 내 장면 해석에 의존하는 것으로 나타났다.
CaPtain: 코드로서 정책 로봇 에이전트의 훈련 파이프라인
CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
CaPtain은 소형 오픈 VLM을 기반으로 코드로서 정책 로봇 에이전트를 생성하는 오픈 훈련 파이프라인으로, 시뮬레이션과 실제 하드웨어 모두에서 작동하며 성능을 입증하였다.
waltstephen/CaPtain · GitHub README
CaPtain은 코드로 정책을 구현한 로봇 에이전트를 만드는 완전한 파이프라인으로, 학습 데이터, 모델 가중치, 헤르시, 학습 코드 등을 오픈소스로 제공합니다. 주요 기능은 SFT와 RL을 통한 훈련, 다양한 벤치마크 환경에서의 실행 및 제로샷 전이 능력입니다.
REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
REA는 성찰적 시스템과 반응형 정책이 협업하는 통합 런타임으로, 고성능 제어를 달성합니다. 실험 결과, REA는 95.9%의 성공률을 기록하며, 기존 기준을 넘어선 성능을 보여줍니다.
WorldBridge: 비디오와 행동을 연결하여 세계 행동 모델에서 작업 일반화 달성
WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
WorldBridge는 비디오 예측과 행동 고정화의 보완적인 역할을 강조하며, 다양한 조작 벤치마크에서 최고 성능을 보여줍니다. 비디오 감시의 확장과 행동 감시의 추가가 작업 전달 성능을 크게 향상시킨다는 결과를 도출했습니다.
GLOW-FM: 효율적인 저조도 이미지 향상 기법
GLOW-FM: Efficient Generative Low-Light Image Enhancement with One-Step Latent Flow Matching
GLOW-FM은 단일 함수 평가로 저조도 이미지 향상을 수행할 수 있는 효율적인 생성 모델을 제안합니다. 실험 결과, GLOW-FM은 경량화된 모델 구조와 함께 우수한 품질과 일반화 능력을 보여줍니다.
arm-research/AAIR-GLOW-FM · GitHub README
GLOW-FM은 효율적인 저조도 이미지 향상을 위한 경량 Tiny-VAE 인코더와 Hourglass Diffusion Transformer를 결합한 모델입니다. 단일 단계로 저조도 이미지의 잠재 공간을 복원하여 빠른 추론을 가능하게 합니다.
인터디펜던트 스펙을 통한 장기 개발 성능 향상
When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications
CodeSpecWeave는 복잡한 스펙 상호작용을 처리하기 위한 태스크 합성 프레임워크로, 4,670개의 학습 태스크를 생성하여 기존 모델보다 성능을 크게 개선시켰습니다. 이는 장기 개발에서의 다차원 스펙을 만족하는 코드 생성을 가능하게 합니다.
SOMA: 에고센터적 행동 및 신체 운동 이해를 위한 벤치마크
SOMA: A Benchmark for Fine-Grained Egocentric Behavior and Body-Motion Understanding
SOMA는 에고센터적 영상에서 세부적인 신체 운동을 이해하는 능력을 평가하기 위한 벤치마크로, 인간의 신체 구성, 운동 동역학, 시간적 추론 세 가지 축을 기반으로 1,632개의 검증된 질문을 포함합니다. 인간의 정답률이 68.5%임에도 불구하고 최고의 MLLM인 Qwen3.6-27B는 50.0%의 정확도를 달성하는 것으로 나타났습니다.
OSWAM: One-Step Action Generation for Efficient World Action Models
OSWAM: An Effective World Action Model with One-Step Action Generation
OSWAM은 단일 확산 단계로 고품질 액션을 생성할 수 있는 효과적인 세계 액션 모델로, 직접 정책 기반 WAM보다 3배 빠른 속도와 실시간 추론을 지원합니다.
PolyU-VCLab/OSWAM · GitHub README
OSWAM는 NAVSIM과 RoboTwin 2.0에서 자율 주행 및 Embodied Control을 위한 기술로, Action Imagination Tokens와 Scene Imagination Tokens를 사용하여 효율적인 행동 생성을 제공합니다. 사용자는 제공된 설치 및 실행 지침에 따라 시스템을 설정할 수 있습니다.
MemSteer: 사용자 역사에서 감독으로 전환하여 에이전트 메모리 최적화
MemSteer: Turning User Histories into Supervision for Agent Memory Optimization
MemSteer는 라벨 없는 사용자 역사에서 질문-답변(QA) 감독을 생성하여 에이전트 메모리 설계를 최적화합니다. 실험 결과, 이 감독은 공식 QA 지도와 경쟁할 수 있으며, 성능 개선을 입증하고 있습니다.
HALO: Human-Grounded Granular Evaluation of Proactive Agents
HALO: Human-Grounded Granular Evaluation of Proactive Agents
HALO는 프로액티브 에이전트의 행동을 인간 중심으로 세부적으로 평가하는 프레임워크로, 4가지 필요 유형과 10개 일상 도메인을 기반으로 설계되었다. 주요 결과로는 과도한 프로액티비티가 주요 실패 원인임을 밝혔으며, 이는 61.20%의 거절 응답에서 나타났다.
CedricPei/HALO · GitHub README
HALO는 프로액티브 에이전트의 행동을 인간 중심으로 세분화 평가하는 프레임워크로, 10개 도메인, 400개 시나리오, 2,160개 체크포인트를 포함합니다. 사용자는 HALO-8K 데이터셋을 통해 모델의 행동, 수용성, 거절 이유 등을 평가할 수 있습니다.
트레이닝-인페레인스 불일치의 기원과 진화
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
이 논문은 대규모 언어 모델의 강화 학습에서 발생하는 트레이닝-인페레인스 불일치의 원인과 해결 방안을 분석하며, 수치적 오차와 정책 지연을 중심으로 한 새로운 수정 방법인 discrepancy-lag correction(DLC)을 제안한다.
Skylanding/Training-Inference-Mismatch · GitHub README
이 저장소는 LLM 강화학습에서 훈련-추론 불일치 문제를 분석하고 해결하기 위한 도구와 실험을 제공합니다. 주요 기능은 불일치 수정(DLC), 베이스라인 알고리즘, 그리고 다양한 실험 설정을 포함합니다.
GEPA-Curator: Curated Learning for Self Improving Agents
GEPA-Curator: Curated Learning for Self Improving Agents
GEPA-Curator는 실패한 실행보다는 성공적인 경험을 기반으로 프롬프트 최적화를 개선하는 프레임워크입니다. 실패 원인을 제거하고 과거 성공 사례를 활용해 성능을 향상시킵니다.
RoboArchitect: 로봇 에이전트의 설계 자동화
RoboArchitect: Automating the Design of Robotic Agents with Persistent Memory
RoboArchitect는 고정된 정책을 기반으로 로봇 에이전트의 허브스를 자동화하여 성능을 크게 향상시킵니다. 허브스는 학습된 경험을 기반으로 지속적인 메모리를 활용하여 새로운 환경과 작업에서 성공률을 크게 높입니다.
roboarchitect-ai/RoboArchitect · GitHub README
RoboArchitect는 고정된 로봇 정책의 실패를 분석하여 에이전트를 설계하고 지속적으로 개선하는 시스템입니다. VLA 정책과 코드-로서 정책을 결합해 제어 루틴을 설계하고, 에피소드 간에 지속적인 메모리를 유지합니다. 실험 결과, 미리 본 적 없는 장면과 작업에서 성공률이 크게 향상되었습니다.
레시던트 게이트 재구성과 확산 학습 가속화
No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
이 논문은 확산 트랜스포머의 학습 가속화가 레시던트 게이트의 재구성에서 비롯된다는 점을 밝히며, 게이트 참여도를 측정하는 nPR 지표를 제시한다. 실험 결과, 게이트 참여도가 높은 모델이 더 나은 생성 성능을 보인다.
시각 상태 감시: 스트리밍 비디오에서 표현 분리
Supervising the Visible State: Separating Representation from View Selection in Streaming Video
이 논문은 시각 상태 감시(ViSS)를 통해 이벤트 식별, 순서, 축적, 관계 변화 및 답변 충분성을 기반으로 모델을 훈련시켜, 스트리밍 비디오에서 정확도를 향상시킨다. TVS는 모델을 고정한 상태에서 증거 접근을 확장하여, 이벤트 기억과 전방 추론을 개선한다.
yihaohu0118/ViSS · GitHub README
ViSS는 스트리밍 비디오에서 시각 상태를 감시하여 이벤트 식별, 순서, 관계 변화 등을 학습하는 모델입니다. TVS는 훈련된 모델을 고정하고, 필요한 시점에 최근 프레임이나 이벤트 뷰를 선택적으로 가져옵니다.
Think Twice: The Metis-1.6 Technical Report
Think Twice: The Metis-1.6 Technical Report
Metis-1.6는 파라미터 수가 적은 모델이 성능을 극대화하기 위해 혼합 Mamba-2와 어텐션 믹스트 오브 익스퍼츠 구조를 사용하여 토큰을 두 번 처리하는 방식으로 설계되었다. 이 모델은 비교 모델 대비 훈련 데이터의 1/12 수준에서 성능을 달성했으며, 파레토 전선에 위치하고 있다.
lernex/dromos · GitHub README
Dromos는 Lernex의 Metis 모델을 위한 추론 엔진으로, CUDA, Metal, CPU를 지원합니다. 사용자는 쉘 스크립트나 Docker를 통해 쉽게 설치할 수 있으며, 다양한 모델을 실행하고 OpenAI API를 제공할 수 있습니다.
WeFair: Personalized Query Rewriting for Short-Video Search
WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search
WeFair은 사용자 맞춤형 쿼리 재작성에 있어 신뢰도 기반의 인간 피드백을 활용한 방법으로, 쿼리 재작성의 정확도와 의도 유지 능력을 향상시켰습니다. 실험 결과, WeFair-2B는 기존 기법에 비해 효과적인 비디오 시청률 증가와 쿼리 재작성률 감소를 달성했습니다.
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
연구 에이전트가 실험의 가치를 판단할 수 있는지 평가한 결과, 에이전트가 제안한 실험 중 일부는 유의미하지만, 그들의 순위가 실행 선택에 효과적으로 기여하는 증거는 제한적이다. 팀 구성은 비용이 증가하지만 전체 제안 품질 개선은 명확하지 않다.
ArtKanke/rTaste · GitHub README
rTaste는 연구 에이전트가 실험을 선택하는 감각을 평가하는 프레임워크로, 6개의 모델이 7편의 NLP 논문을 기반으로 실험 제안을 하고 그 결과를 평가합니다. 주요 기능은 실험 제안, 예측, 실행 및 평가 단계로 구성되어 있으며, 연구자와 팀의 성과를 비교합니다.
VoxLock: 대상 발화자 추출을 위한 음성 에이전트
VoxLock: Target-Speaker Extraction for Voice Agents Without an Enrollment Step
VoxLock은 음성 에이전트의 발화자 추출을 위해 훈련된 모델로, 기존 시스템보다 낮은 WER을 달성했습니다. 400개의 AMI 회의 데이터에서 WER을 42.95%에서 10.63%로 개선했습니다.
arbazsiddiqui/voxlock · GitHub README
VoxLock은 전화 통화에서 사용자의 목소리를 분리하여 다른 배경 소리를 제거하는 오픈소스 모델입니다. CPU에서 24ms의 알고리즘 지연으로 실시간 처리가 가능하며, Pipecat과 LiveKit 등 다양한 음성 에이전트에 통합되어 있습니다.
CausalWAM: 행동 원인 학습을 위한 세계 행동 모델
CausalWAM: Learning the Causes of Actions in World Action Models
CausalWAM은 행동을 유발하는 원인을 분리하여 학습하는 방법을 제안하며, 이는 행동 관련 잠재 변수를 다른 잡음 변수와 분리함으로써 모델의 효율성을 높인다. 실험을 통해 이 방법이 합성 데이터와 실제 로봇에서 효과적인 성능을 보인다.
SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
SciGame은 과학적 문헌을 구조화된 과학 카드로 변환하여, 원래와 차원 일치된 반사적 환경을 제공하는 제어된 벤치마크입니다. 실험 결과, 익숙한 사전 지식이 관계가 변경되면 성능에 부정적인 영향을 미치며, 적응적 실험은 강력한 모델에 유리하지만 약한 모델에는 제한된 예산 하에서 해로울 수 있었습니다.
yushengzh/scigame · GitHub README
SciGame은 과학적 발견을 위한 실험을 통한 상호작용 벤치마크로, 플레이어가 실험을 제안하고 가설을 수정하며 예측기를 제출하는 역할을 합니다. 저장소는 과학적 실험과 평가를 위한 다양한 기능과 데이터셋을 제공합니다.
TernScope: 모델-하드웨어 공동 설계를 통한 효율적인 삼진 내시경 분할
TernScope: Model-Hardware Co-Design for Efficient Ternary Endoscopic Segmentation
TernScope는 소형 모델, 높은 정확도, 빠른 추론을 조화롭게 달성하기 위해 모델-하드웨어 공동 설계를 도입하여 간소화된 분할 네트워크를 학습합니다. 이는 삼진 가중치와 8비트 활성화를 사용하여 메모리 패킹과 곱셈 없이 계산을 가능하게 합니다.
ReaganWu/TernScope · GitHub README
TernScope는 효율적인 삼진 계산을 위한 모델과 하드웨어 공동 설계를 목표로 합니다. 주요 기능은 삼진 가중치와 8비트 활성화를 사용한 경량 네트워크 및 저전력 하드웨어 가속기입니다.
TSFLab: 시간 시리즈 예측 연구를 위한 자기 개선형 에이전트 무관 워크벤치
TSFLab: A Self-Improving Agent-Agnostic Workbench for Time Series Forecasting Research
TSFLab은 시간 시리즈 예측 연구에서 코드 에이전트를 활용해 저비용으로 연구 및 유지보수를 지원하는 자기 개선형 워크벤치로, 실험 재현 및 벤치마킹에서 기존 기준 대비 20-163%의 작업 완료율 향상과 11-66%의 신규 토큰 사용 감소를 보여준다.
D2I-Group/TSFLab · GitHub README
TSFLab은 시간 시계열 예측 연구를 위한 자동화된 워크벤치로, 다양한 코드 에이전트와 호환되어 방법론, 데이터셋, 실험 설정을 공유하고 재현 및 개선을 지원합니다. 사용자는 기존 코드베이스와 비교해 더 빠르고 효율적으로 연구를 수행할 수 있습니다.
TurnTurk-GPT: 텍스트 기반 대화 차례 예측 모델
TurnTurk-GPT: Text-Based Turn-Taking Prediction for Turkish
TurnTurk-GPT는 합성 및 실제 대화 데이터를 활용해 훈련된 터키어 GPT-2 모델로, 기존 다국어 모델과 비교해 기록 불일치 및 말자 불일치 평가에서 우수한 성능을 보여준다. 말자 불일치 시에는 제로샷 언어 모델과 유사한 성능을 보인다.
질량 조절 가능한 로봇 정책 학습
Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling
이 논문은 로봇 정책의 실행 품질을 실시간으로 조절할 수 있는 Quality-Controllable Policy(QCP)를 제안하며, 반복적 hindsight relabeling을 통해 정책을 개선합니다. 실험 결과, QCP는 초기 시연보다 훨씬 높은 품질의 실행을 달성할 수 있음을 보여줍니다.
SketchDirector: Complex Scene Sketching via Agentic Layout Reasoning and Detail Refinement
SketchDirector: Complex Scene Sketching via Agentic Layout Reasoning and Detail Refinement
SketchDirector은 텍스트 기반 복잡한 장면 스케치를 위한 혁신적인 프레임워크로, 대규모 언어 모델을 활용해 장면을 여러 개의 드래프트 자산으로 분해하고, 자율적 추론 루프를 통해 공간 배치를 계획 및 실행합니다. 최종적으로, 확산 우선순위를 활용해 스케치 품질을 향상시키면서 기하 구조를 유지합니다.
GVCLab/SketchDirector · GitHub README
SketchDirector는 텍스트 기반으로 복잡한 장면 스케치를 생성하는 애그entic 프레임워크입니다. 주요 기능은 객체 수준의 SVG 스케치 자산 생성, 공간적으로 일관된 구성, 그리고 세부 사항 정제입니다. 사용 조건은 텍스트 기반 장면 설명과 관련된 데이터셋 및 모델 리소스가 필요합니다.
AuditFL: 오픈 페더레이티드 러닝을 위한 계약 기반 정산 층
AuditFL: A Contract-Backed Clearing Layer for Open Federated Learning
AuditFL은 페더레이티드 러닝의 투명성과 책임성을 높이기 위해 오픈 환경에서 계약 기반의 정산 층을 제안합니다. 이 시스템은 체인상에 모델 아티팩트 대신 콘텐츠 식별자와 경제 상태만 저장하여 효율성을 유지합니다.
katastrofh/AuditFL · GitHub README
AuditFL은 오픈 페더레이티드 러닝에서 참여 및 정산을 블록체인에 기록하면서 모델 훈련과 집계는 오프체인으로 처리하는 감사 가능한 협업 시스템입니다. 주요 기능은 보증된 업데이트 티켓, 콘텐츠 주소화 모델 아티팩트, 그리고 라운드 종료 및 보상 기록입니다.
Solv3R: 3D Looped Transformer as a Multi-view Solver
Solv3R: 3D Looped Transformer as a Multi-view Solver
Solv3R은 현재 상태에서 다중 시야 기하학을 계속 해결할 수 있는 루프 변환기를 도입하여, 이미지 컬렉션의 정밀한 재구성과 새로운 관측 통합을 가능하게 합니다. 이 모델은 반복 횟수에 관계없이 업데이트 연산자를 독립적으로 실행할 수 있어, 기존의 정밀한 상태와 새로 추가된 시야를 함께 업데이트할 수 있습니다.
ubc-vision/solv3r · GitHub README
Solv3R는 3D 루프 변환기 기반의 다중 시야 해결 기술로, 오프라인, 스트리밍 및 임의 순서로 3D 재구성에 사용됩니다. 주요 기능은 이미지 입력을 받아 카메라 파라미터, 깊이 맵, 포인트 클라우드 등을 생성하는 것입니다.
VidDub: Two-Step Video Dubbing with Replacement-Aware Distillation
VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
VidDub은 교체 인식을 기반으로 한 두 단계의 디퓨전 편집기를 통해 원본 음성과 대체 음성 간 동기화를 개선합니다. 실험 결과, 교차 음성 동기화 지표(Sync-C)는 0.833 증가하며, 시각적 품질과 식별 보존이 우수합니다.
LAW1223/VidDub · GitHub README
VidDub은 대화를 교체하는 동영상 번역 시스템으로, 원본 얼굴과 배경을 유지하면서 음성에 따라 입술 움직임을 재생성합니다. 이 저장소는 번역 및 평가를 위한 도구와 데이터셋을 제공합니다.
Axion 1.0: Open Agent Foundation Models, Simplified
Axion 1.0: Open Agent Foundation Models, Simplified
Axion 1.0은 단순한 훈련 방법으로 강력한 대화형 능력을 갖춘 오픈 에이전트 기반 모델을 제시합니다. 이 모델은 다양한 벤치마크에서 우수한 성능을 보이며, 전체 개발 과정을 재현하고 확장할 수 있는 오픈 소스 레시피를 제공합니다.
bytedance/axion1_0 · GitHub README
Axion 1.0은 과학적 추론 및 도구 사용을 지원하는 오픈소스 AGI 모델로, 두 단계의 감독 훈련과 강화 학습을 통해 개발되었습니다. 사용자는 훈련 데이터 생성, 모델 훈련, 평가를 포함한 전체 파이프라인을 사용할 수 있습니다.
MoviEdit: Long-form Multi-Shot Video Editing Made Easy
MoviEdit: Long-form Multi-Shot Video Editing Made Easy
MoviEdit은 장형 다샷 영상 편집을 위한 종단간 프레임워크로, 자동 데이터 생성 파이프라인과 시퀀스 기반 아키텍처를 통해 편집 일관성을 유지합니다. 실험 결과, MoviEdit은 기존 오픈소스 모델을 크게 능가하며 산업 전선 모델과 동등한 성능을 보입니다.
adobe-research/MoviEdit-Bench · GitHub README
MoviEdit-Bench는 장형 다장면 영상 편집을 위한 평가 기준으로, 편집 정확도, 일관성, 품질 등을 측정합니다. 사용자는 텍스트나 편집된 프레임을 기반으로 영상 편집을 수행하고, 결과를 평가할 수 있습니다.
TailorRig: Garment-Aware Rigging을 위한 제어 가능하고 구조화된 보조 스켈레톤 생성
TailorRig: Controllable and Structured Auxiliary Skeleton Generation for Garment-Aware Rigging
TailorRig은 보조 스켈레톤 생성을 구조화되고 제어 가능한 문제로 접근하여, 기존 방법에 비해 스켈레톤 정확도와 변형 안정성을 향상시켰습니다. 이 방법은 사용자 정의 보디 템플릿과 세미 앤트 라벨을 통해 보다 실용적인 라이깅을 가능하게 합니다.
AIRoA-0: 장시간, 정밀, 크로스 업버드먼트 조작을 위한 핸드헬드 데이터 기반 시스템
AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data
AIRoA-0은 핸드헬드 데이터를 기반으로 학습된 양수작업 시스템으로, 16,151시간의 시연 데이터를 활용해 다양한 작업을 수행합니다. 평가에서 78%의 성공률을 달성하며, 다른 모델 대비 우수한 성능을 보입니다.
WebHarbor: Docking Real Websites for Evolving GUI Agent Environments
WebHarbor: Docking Real Websites for Evolving GUI Agent Environments
WebHarbor는 실제 웹사이트의 시각적 인터페이스, 콘텐츠 및 기능적 워크플로우를 정확히 재현한 153개의 실행 가능한 도커 환경을 제공하여 GUI 에이전트의 평가와 훈련을 가능하게 합니다. 이는 강화 학습을 통한 에이전트의 일반화 능력을 높이고, 기존의 제한된 환경을 보완합니다.
aiming-lab/WebHarbor · GitHub README
WebHarbor는 153개의 인기 웹사이트를 로컬 Docker 이미지로 복제하여 GUI 에이전트의 테스트 환경을 제공합니다. 이 저장소는 3,518개의 작업을 포함하여 에이전트의 능력을 향상시키는 동적인 환경을 지원합니다.
TaoMate-FVSR: Audio-Guided Facial Video Restoration
TaoMate-FVSR:Audio-Guided Facial Video Restoration
이 논문은 음성에 따라 얼굴 영상 복원을 개선한 프레임워크를 제시하며, 복원된 입술과 이가 음성과 일치하도록 보장합니다. 실험 결과, 대화형 얼굴 복원 기준에서 최고의 시각적 유사도와 동기화 점수를 달성했습니다.
TaoLiveAIGC/TaoMate-FVSR · GitHub README
TaoMate-FVSR은 오디오 조건부로 얼굴 영상 복원을 수행하는 모델로, 원본 오디오와 시각적 대체 음성으로 복원을 지원합니다. 주요 기능은 전체 영상 추론, 1×/2× 추론, 오디오 지도 생성, 유연한 참조 이미지 처리입니다.
P^2-MOPD: 다중 멘토 온-정책 디스티л레이션 가속화를 위한 파라미터 사전
P^2-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
P^2-MOPD는 학생 모델의 파라미터를 멘토 파라미터의 선형 조합으로 보고, 학습 계수와 학생 가중치를 함께 최적화하여 더 빠르고 균형 잡힌 회복을 달성합니다. 1.7B 모델은 MOPD 대비 94.7%의 평균 회복률을 달성했습니다.
SinuoWang/P2-MOPD · GitHub README
P²-MOPD는 다중 멘토 온-정책 디스티л레이션을 가속화하기 위해 학습 가능한 믹싱 계수를 사용하여 학생 모델의 파라미터를 전문가의 파라미터 사전으로 조정합니다. 이 방법은 학습 과정에서 전문가의 로짓과 파라미터 사전을 동시에 최적화하여 성능을 향상시킵니다.
CoworkOS: Real-world Automation을 위한 에이전트 코워커 확장
CoworkOS:Scaling Agent Coworkers for Real-world Automation
CoworkOS는 장기적인 작업을 위한 일반적인 프레임워크로, 작업 전략과 실행 관리를 분리하여 높은 품질의 결과와 지속적인 모니터링을 가능하게 합니다. 다양한 벤치마크와 실제 응용 분야에서 우수한 성능을 보여줍니다.
RUC-NLPIR/CoworkOS · GitHub README
CoworkOS는 복잡한 프로젝트를 코드, 연구, 문서, 발표, CAD, 블렌더 및 과학적 워크플로우 등 다양한 분야에서 계획부터 검증된 결과물까지 지원하는 오픈소스 협업 허브입니다. 사용자는 CLI를 통해 프로젝트를 설정하고, 모델을 구성하여 작업을 시작할 수 있습니다.
CUA-Master: Open-World Recursive Improvements for Computer-use Agents
CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
CUA-Master는 오픈월드 데이터와 이중 루프 구조를 기반으로 CUAs의 성능을 향상시킨 프레임워크로, 다양한 환경에서 효율적인 트랙토리 수집과 데이터 합성의 품질 및 효율성을 개선하였다.
xlyu0106/CUA-Master · GitHub README
CUA-Master는 컴퓨터 사용 에이전트를 확장하기 위한 오픈월드 재귀 개선 기반의 코드베이스로, 영상 데이터를 처리하여 검증된 시드 트레이젝션을 생성하고, 자동으로 태스크를 합성하여 실행 가능한 벤치마크를 만듭니다. 사용자는 영상 검색, 태스크 추출, 트레이젝션 수집, 모델 훈련 데이터 준비 등의 단계를 통해 시스템을 활용할 수 있습니다.
TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
TaoMate-HD는 고해상도 오디오-비디오 스트리밍을 위한 자기회귀 모델로, 텍스트 업데이트 시 이미 생성된 내용을 유지하며 연속적인 생성을 가능하게 합니다. 실험 결과, 동일한 모델과 하드웨어에서 고해상도 생성 대비 1.6배의 속도 향상과 캐릭터 오류율 11.18% 감소를 달성했습니다.
TaoLiveAIGC/TaoMate-HD · GitHub README
TaoMate-HD는 고해상도 영상과 음성 생성을 동시에 수행하는 프로그레시브 해상도 자동회귀 모델입니다. 세 단계의 진행적 생성과 연속적인 음성 및 움직임 처리를 통해 장시간의 영상 생성이 가능하며, 다양한 GPU 구성으로 성능을 최적화할 수 있습니다.
EvoMemState: Evolving Memory State for Personal Agents
EvoMemState: Evolving Memory State for Personal Agents
EvoMemState는 지속적인 사실과 두 가지 보완적인 상태인 관계 상태와 추론 상태를 결합하여 개인 에이전트의 기억을 개선하는 프레임워크입니다. 실험 결과, 기존 시스템에 비해 검색 완성도와 기억 기반 응답 정확도에서 개선이 확인되었습니다.
XMUDeepLIT/EvoMemState · GitHub README
EvoMemState는 개인 에이전트가 사용자와의 대화를 기억하고, 정보 변화를 추적하며, 현재 요청에 영향을 미치는 방식을 결정하는 데 사용됩니다. 이 저장소는 지속적인 사실을 진화하는 메모리 본체에 저장하고, 추론 상태를 생성하여 최종 응답을 생성하는 기능을 제공합니다.
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
IdeaTaste는 LLM이 인간 연구자들의 연구 방향을 얼마나 잘 반영하는지 평가하는 벤치마크로, LLM의 제안서는 인간 커뮤니티의 26% 수준의 인용 일치와 18% 수준의 아이디어 일치를 보여주었다. 이는 AI가 구체적인 접근법과 연구 계획을 도출하는 데 한계가 있음을 나타낸다.
cxcscmu/IdeaTaste · GitHub README
IdeaTaste는 연구 성향을 평가하는 벤치마크로, LLM 에이전트가 2025년까지의 문헌을 읽고 연구 제안을 작성한 후, 2026년에 발표된 논문과 비교하여 평가합니다. 제안서와 논문은 인용 및 아이디어 측면에서 4가지 지표로 평가됩니다.
BEND 2.0: DNA 설계를 위한 능력 평가
BEND 2.0: Benchmarking the Capabilities Needed to Design DNA
BEND 2.0은 DNA 시퀀스 설계에 필요한 모델의 능력을 평가하는 새로운 벤치마크로, 모델의 예측 능력과 설계 지도력이 중요한 역할을 한다. 연구에서는 선형 읽기 출력이 모델의 원생 출력을 넘어서는 성능을 보이며, 기능적 후 훈련이 모델의 능력을 크게 향상시킨다는 결과를 보여준다.
machinelearninglifescience/bend2 · GitHub README
BEND 2.0은 유전체 모델이 DNA 설계를 이끌어내는 능력을 평가하기 위한 벤치마크입니다. 주요 기능은 8가지 작업을 통해 시퀀스 기능 예측, 세포 유형 및 유전적 배경 고려, 원하는 반응을 유도하는 시퀀스 선택 등을 평가합니다.
AlphaFold 3을 활용한 단백질-단백질 복합체 구조 예측을 위한 자동 연구 에이전트
Auto-Research Agent on MSA Organization to Improve Protein-Protein Complex Structure Prediction
이 연구는 단백질-단백질 복합체 구조 예측에서 MSA의 깊이와 크로스 체인 페어링의 중요성을 타겟에 따라 달라진다는 점을 밝히며, 자동 에이전트를 도입하여 예측 성능을 개선하였다. 에이전트는 생물학적 추론과 자율 실험을 통해 MSA 설계를 최적화하여 DockQ를 평균 60% 감소시키면서도 성능을 향상시켰다.
Reviso: 비디오 캡션링에서 모든 시각 증거가 동일한 주의를 필요로 하지 않음
Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
Reviso는 비디오 캡션링에서 중요한 시각 정보를 우선적으로 포착하고, 정확한 캡션을 생성하기 위한 적극적 관찰 전략을 제안합니다. 실험 결과, Reviso는 기존 오픈소스 베이스라인보다 우수한 성능을 보이며, 후속 비디오 질문 답변에 더 효과적인 캡션을 생성합니다.
pkucs-ltf/reviso · GitHub README
Reviso는 Qwen3.5 9B 기반의 비디오 캡션링 모델로, 반복적 관찰 및 추론 루프를 통해 비디오를 설명합니다. 주요 기능은 SFT, GRPO 보상, 그리고 에이전트 추론 컨트롤러를 포함하며, 사용자는 입력 경로와 출력 경로를 설정하여 실행할 수 있습니다.
History Forcing: 장기 수평 영상 월드 모델을 위한 역사 의존적 연속성 정제
History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
History Forcing은 자소서의 역사적 정보를 활용하여 자소서의 현재 예측을 제약하는 통합적인 온-정책 정제 프레임워크로, 장기 수평 영상 생성에서 더 나은 성능을 보여줍니다. 1.3B 모델에서 SOTA 성능을 달성하며, 15초 영상 생성의 VBench 점수는 85.07, 60초 생성의 VBench-Long 점수는 79.82입니다.
ziplab/History-Forcing · GitHub README
History Forcing은 장기 영상 생성 및 시야 외 세계 모델링을 위한 오피셜 정책 기반의 디스티л링 프레임워크입니다. 역사 정보를 활용한 감독과 일관성 유지, 시야 외 환경 변화를 모델링하는 기능을 제공합니다.
SIMPLE Law for LLM Inference 에너지 비용
The SIMPLE Law for Energy Cost of LLM Inference
SIMPLE 법칙은 LLM 추론의 에너지 비용을 예측하며, 히든 차원의 제곱에 따라 전제 에너지가 증가하고, GQA를 통해 토큰당 에너지가 3배까지 감소하는 결과를 보여준다.
DepthGraft: 구조적 정규화를 통한 계층적 크로스 레이어 KV 재구성
DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
DepthGraft는 깊은 레이어의 KV를 얕은 레이어에서 재구성하여 계층적 KV 공유 구조를 설계함으로써, 모델의 성능을 향상시킨다. 실험 결과, 16B 파라미터 MoE 모델에서 MMLU-Pro에서 7.0%의 절대적 개선을 달성하였다.
jianke0604/depthgraft · GitHub README
DepthGraft는 깊은 레이어의 키-값(KV)을 얅은 레이어와 중간 레이어에서 재구성하여 모델 품질을 향상시키고 KV 캐시 저장 공간 및 프리필 비용을 절감합니다. 이 기술은 다층 구조에서 효율적인 메모리 사용과 훈련 신호 전달을 가능하게 합니다.