FrontierPhysics: 물리학 연구를 위한 에이전트 평가
FrontierPhysics: Evaluating Agents for End-to-End Physics Research
FrontierPhysics는 물리학 연구의 완전한 과정을 평가하는 새로운 벤치마크로, 에이전트의 논리적 타당성과 전문가 직관이 주요 약점으로 드러났다. 이는 단순한 정답 여부를 넘어 연구 품질을 평가하는 데 중점을 둔다.
픽셀에서 행동으로 - 네이티브 비전-언어-행동 정책을 위한 접근
From Pixels to Actions - Towards Native Vision-Language-Action Policies
NEO-VLA는 비전-언어-행동 모델에서 시각 표현을 계층적으로 접근함으로써 더 강하고 견고한 제어를 달성합니다. 시각 신호가 행동 결정에 중요한 역할을 하므로, 고정된 인코더 출력 대신 계산 계층 전반의 시각 표현에 접근하는 것이 효과적임을 보여줍니다.
Halley: Optical AI 데이터 센터 네트워크를 위한 예측 제어 평면
Halley: A Predictive Control Plane for Optical AI Data Center Networks
Halley는 레이저, 스위치, 미크링, 모듈 등 네트워크의 각 층에 예측 제어기를 부여하여 시스템의 가용성을 향상시킵니다. 실험 결과, 예측 제어를 적용한 후 데이터 센터의 효율적인 데이터 전송률이 65.2%에서 76.5%로 증가했습니다.
다중 턴 강화 학습이 LLM 에이전트에 미치는 영향
What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
다중 턴 강화 학습은 장기 목표 작업에서 우수한 성능을 보이지만, 상호작용 제약에 민감하다. BudgetMix RL은 다양한 실행 환경에서 견고한 성능을 보인다.
GaryStack/Rethinking-Agent-RL · GitHub README
이 저장소는 다단계 강화학습의 성능 향상 요인을 분석하고, 예산 의존성 문제를 해결하기 위한 BudgetMix RL을 제시합니다. 주요 기능은 성능 진단 도구와 다양한 실험 설정에서의 안정적인 실행을 지원합니다.
GameVerse: 게임플레이 데이터셋을 통한 장기적 상호작용 세계 모델링
GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling
GameVerse는 장기적 상호작용 세계 모델링을 위한 분단기 기반 게임플레이 데이터셋으로, 기존 데이터셋보다 훨씬 더 긴 시간 범위와 다양한 콘텐츠를 포함하고 있다. 이 데이터셋은 장시간 시퀀스의 일관성과 정확한 어노테이션을 통해 상호작용 모델의 시간 범위를 확장할 수 있음을 보여준다.
kangverse/GameVerse · GitHub README
GameVerse는 장기적인 상호작용 세계 모델링을 위한 분단위 게임 플레이 영상 데이터셋으로, 다양한 게임에서의 연속적인 플레이 클립, 카메라 트라젝토리, 구조화된 캡션을 제공합니다. 데이터셋은 69,678개의 클립과 1,655.05시간의 영상으로 구성되어 있습니다.
비디오 대화에서 MLLM의 기억 능력 평가
VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
VideoMemBench는 비디오 대화 중 모델이 이전 대화 내용을 기억하는 능력을 평가하는 새로운 데이터셋으로, 각 대화 턴 간의 의존성을 고려하여 설계되었다. 연구 결과, Claude Opus 5가 45.7%의 성적을 기록하며 이 분야의 어려움을 보여주었다.
Oliiveralien/VideoMemBench · GitHub README
VideoMemBench은 멀티 턴 비디오 대화에서 모델이 비디오 메모리에 얼마나 잘 기억하는지를 평가하는 저장소입니다. 주요 기능은 에피소드적 의존성과 답변 의존성을 기반으로 한 평가 프로토콜이며, 사용 조건은 128 프레임과 시퀀셜 세레보울을 사용하는 것입니다.
Turns Matter: 스트리밍 비디오 RL의 진보
Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
TurnWise는 튜닝 수준의 크레딧 할당을 통해 트랙터 수준의 피드백과 상호작용 간의 불일치를 해결하여 스트리밍 비디오 이해의 정책 학습을 개선합니다.
XD111ds/turn-wise-rl · GitHub README
TurnWise는 스트리밍 비디오 대화에서 답변과 대기 행동을 학습하는 데 초점을 맞춘 프레임워크입니다. 각 턴의 반환 값을 비교하여 정책을 최적화하며, 긴 답변과 짧은 대기 행동의 영향을 균형 있게 조절합니다.
PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
PyRUA-DataFarm은 LLM 에이전트를 활용해 텔레오퍼레이터 역할을 자동화하여 실제 로봇 데이터를 효율적으로 생성합니다. 실험 결과, 농업 데이터를 기반으로 훈련된 정책은 텔레오퍼레이션 데이터와 유사한 성능을 보이며, 비용도 크게 절감할 수 있었습니다.
EmoReward: 감정 영상 생성 RL을 위한 자기 진화적 보상 교정
EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
EmoReward는 감정 표현을 평가하는 데 사용되는 보상 체계를 동적으로 조정하여 생성된 영상의 감정적 의도를 더 정확하게 반영합니다. 실험 결과, 다양한 RL 알고리즘에서 성능 향상을 보였습니다.
Tencent-Hunyuan/EmoReward · GitHub README
EmoReward은 감정을 생성하는 비디오 강화학습에서 자기 진화하는 훈련 메커니즘으로, 다양한 감정 증거를 신뢰할 수 있도록 조정합니다. 감정 표현을 위한 보상 모델을 업데이트하지 않고도 다중 보상 가중치를 조정할 수 있습니다.
온-파olicy 디스티л레이션의 일반화 제한에 대한 연구
On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
이 연구는 온-파olicy 디스티л레이션(MOPD)이 일반화 능력을 완전히 전달하지 못하는 문제를 조사하며, 이는 분포 외부에서의 성능 저하로 이어진다. 제안된 접근법은 일반화 유지와 성능 향상을 위한 새로운 전략을 제시한다.
MUON-RT: 멘토 트레이젝션 재사용을 통한 모멘텀 없는 랜드마크 추적
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
Muon-RT는 멘토-학생 이동량을 재사용하여 모멘텀 버퍼를 제거함으로써 메모리 사용을 줄이고, 정확도를 향상시킵니다. 이 방법은 Qwen2.5-7B-Instruct와 Olmo-3-7B-Instruct에서 AdamW 대비 평균 정확도 향상이 확인되었습니다.
D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
D3D는 타겟 모델의 숨겨진 상태 없이 긴 수락 접두사를 달성할 수 있는 독립적인 확산 드래FTER로, 검증 중에 후속 블록을 병렬로 생성하여 해석 속도를 크게 향상시킵니다. 실험 결과, D3D는 Qwen3-8B와 Qwen3-32B 타겟에서 각각 5.00배와 5.71배의 해석 속도 향상을 보였습니다.
fudan-generative-vision/D3D · GitHub README
D3D는 분산된 확산 드래프트 모델과 타겟 검증 모델을 별도의 GPU에서 실행하여 비동기 스펙클레이티브 디코딩을 가능하게 합니다. 주요 기능은 드래프트 모델이 여러 가능한 검증 결과에 대한 연속성을 준비하고, 타겟 모델의 결과가 다음 디코딩 단계에 적절한 연속성을 선택하는 것입니다.
하이브리드 컴퓨터 사용: 일반 에이전트용 통합 프로그래밍, 의미, 시각 인터페이스
Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
하이브리드 컴퓨터 사용(HCU)은 프로그래밍, 의미, 시각 세 가지 채널을 통합하여 에이전트의 효율성과 성공률을 향상시킵니다. 이 인터페이스는 OSWorld 2.0에서 최고의 성능을 보여주며, 유연한 채널 선택과 결합의 가치를 입증합니다.
microsoft/Hybrid-Computer-Use · GitHub README
Hybrid Computer Use(HCU)은 일반 코드 에이전트가 Linux, macOS, Windows를 프로그래밍, 시맨틱, 시각적 채널을 통해 제어할 수 있는 오픈소스 프로토콜 서버입니다. 주요 기능은 AX 및 GUI 도구를 통해 접근성 트리와 스크린샷을 활용한 작업을 지원하며, 사용 조건은 운영체제별 네이티브 제공자와 권한 설정이 필요합니다.
StreamDuo: 라이브 캐스팅 및 미리 본 게임에 대한 연구 에이전트
StreamDuo: A Live Commentator and a Research Agent for Unseen Games
StreamDuo는 게임을 전혀 본 적 없는 상태에서도 라이브 캐스팅을 수행할 수 있는 모델로, 엔티티 회수율을 0.082에서 0.116로 향상시켰습니다. 또한, 소스 게임 유출률을 9.9%에서 1.0%로 감소시켰습니다.
ZixianGao/StreamDuo-code · GitHub README
StreamDuo는 새로운 게임을 보는 라이브 코멘테이터와 연구 에이전트를 제공하는 시스템입니다. 이 저장소는 코멘테이터와 연구 에이전트를 훈련하고 테스트하기 위한 필수 파일만 포함하고 있습니다.
TAC-CoT: Tool-Empowered Implicit Chain-of-Thought via Interleaving Explicit Tokens
TAC-CoT: Tool-Empowered Implicit Chain-of-Thought via Interleaving Explicit Tokens
TAC-CoT은 명시적 사고 과정을 대체하여 모델의 전방향 통과를 줄이고 정확도를 향상시키는 도구 기반의 암시적 사고 프레임워크입니다. 실험 결과, TAC-CoT는 수학 및 질문 응답 벤치마크에서 정확도를 최대 8.8점 증가시키고, 모델 전방향 통과를 최대 6.8배 감소시켰습니다.
Solv3R: 3D Looped Transformer as a Multi-view Solver
Solv3R: 3D Looped Transformer as a Multi-view Solver
Solv3R은 현재 상태에서 다중 시점 기하학을 계속 해결할 수 있는 루프 변환기를 도입하여, 이미지 컬렉션의 정밀한 재구성과 새로운 관측 통합을 가능하게 합니다. 이 모델은 반복 횟수에 관계없이 업데이트 연산자를 독립적으로 실행할 수 있어, 기존의 정밀한 재구성과 새로운 시점의 공동 업데이트를 지원합니다.
ubc-vision/solv3r · GitHub README
Solv3R는 3D 루프 변환기를 기반으로 한 다중 시야 해결 도구로, 오프라인, 스트리밍 및 임의 순서로 재구성할 수 있습니다. 주요 기능은 이미지 시퀀스를 입력으로 받아 카메라 파라미터, 깊이 맵, 포인트 클라우드 등을 출력합니다.
장시간 추론의 비용을 줄이는 방법
Why Pay for Long Reasoning When Rewrite Do Trick? Causal Effects of Reasoning History Compaction on Future Generation and Agent Cost
추론 과정을 압축하면 향후 추론 토큰 사용을 줄일 수 있으며, 이는 모델의 효율성을 높이는 데 기여합니다. 연구에서는 압축된 추론 기록이 향후 추론을 단축시키는 것을 확인했습니다.
인간-로봇 전이를 위한 VLAs의 표현 및 행동 공간 연결
Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs
H2RB는 인간과 로봇의 표현 공간을 연결하여 사전 학습된 VLA 정책을 적응시키는 프레임워크로, 인간 보여주기 데이터를 활용해 로봇의 성능을 크게 향상시켰습니다. 이 방법은 인간-로봇의 체험 격차를 해결하며, 다양한 작업에서 효과적인 전이를 가능하게 합니다.
jun-brro/h2rb-code · GitHub README
이 저장소는 H2RB 프로젝트의 코드를 제공하며, 시각 표현과 행동 공간을 연결하여 인간과 로봇의 전이를 가능하게 합니다. 주요 기능은 행동 토큰화, 결정적 잠재 변수 캐싱, 그리고 RLDX-1-IMG의 미세 조정입니다. 사용자는 자체 데이터와 통계를 제공해야 합니다.
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
SpecOPD는 병렬 분기 기반의 온-정책 디스티л리션 프레임워크로, 추정 토큰 길이를 증가시키고 생성 속도를 향상시킵니다. 연구에서는 41.45% 높은 평균 수락 길이와 16.09배의 감시 토큰 처리량을 달성했습니다.
QwenApp/SpecOPD · GitHub README
SpecOPD는 다중 분기 모델을 병렬로 훈련하여 목표 모델의 수용률을 높이는 기술로, 훈련 및 추론 속도를 개선합니다. 저장소는 SpecOPD의 개요, 동작 원리, 성능 결과를 제공하며, 실제 적용 조건은 다양한 태스크 도메인과 모델 규모에서 검증되었습니다.
PyRUA-REAL: 실제 세계에서의 로봇 탐색 및 적응 학습
PyRUA-REAL: Robot Exploration and Adaptive Learning through RSI in the Real World
PyRUA-REAL은 실제 세계 탐색과 코드 개선을 통해 로봇의 능력을 지속적으로 향상시키는 프레임워크로, 8개의 실제 작업에서 평균 91.1%의 성공률을 달성했습니다. 이 연구는 물리적 조작을 중심으로 로봇의 협업과 코드 개선을 분석하며, 재사용 가능한 로봇 기술을 위한 실증적 가이드를 제공합니다.
SIMPLE Law for LLM Inference 에너지 비용
The SIMPLE Law for Energy Cost of LLM Inference
SIMPLE 법칙은 LLM 추론의 에너지 비용을 예측하며, 히든 차원의 제곱에 비례하는 프리필 에너지와 GQA를 통한 토큰 에너지 감소를 설명합니다. 이 법칙은 LLM의 에너지 최적화에 중요한 통찰을 제공합니다.
VA-TDM: Few-Step Diffusion Models 개선을 위한 통합적 접근
VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
VA-TDM은 학습된 비판자 기반의 속도 적대적 증류(VAD)를 통해 학습 효율을 높이고, 텍스트-이미지 및 텍스트-비디오 생성에서 최적의 성능을 달성합니다. 이 방법은 다양한 뼈대와 33B MiniMax-H3에 효과적으로 확장됩니다.
Luo-Yihong/VA-TDM · GitHub README
VA-TDM는 적은 단계의 확산 모델을 개선하기 위한 통합적인 접근법으로, 속도 적대적 증류를 통해 시각적 품질을 향상시킵니다. 이 저장소는 SD3.5-Medium 및 FLUX.2-Klein-Base 4B에서 우수한 성능을 보입니다.
NitroFusion2: 텍스트 스트림에 앙상블 손실 도입
NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
NitroFusion2는 MMDiT의 텍스트 스트림을 새로운 앙상블 표현으로 활용하여 적대적 확산 정교화를 개선합니다. 텍스트 스트림이 이미지 정보를 이미 읽은 상태에서 텍스트 조건에 따라 정보를 추출하는 방식을 이용해, 적대적 훈련 시 강조할 속성을 조절할 수 있습니다.
ChenDarYen/NitroFusion2 · GitHub README
NitroFusion2는 멀티모달 디퓨전 트랜스포머의 텍스트 스트림에 적대적 손실을 도입한 1~2단계 텍스트-to-이미지 모델입니다. 텍스트 조건에 따라 생성된 이미지의 표현을 조정할 수 있는 유연한 구조를 제공합니다.
LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
LoopVQ은 루프 트랜스포머의 KV 캐시를 0.5비트당 요소로 압축하여 성능을 향상시키는 방법으로, 일반적인 추론 및 장문 추론 작업에서 기존 방법보다 우수한 결과를 보여준다. 이 기법은 BF16 정확도를 유지하면서 디코딩 지연을 절반으로 줄이고 서버 처리량을 크게 증가시킨다.
mscheong01/LoopVQ · GitHub README
LoopVQ는 루프 트랜스포머의 KV 캐시를 1비트로 압축하는 벡터 정량화 기법입니다. 루프 축 벡터 정량화와 루프 인식 미세 조정을 통해 캐시 복원 오류를 줄이고, 다양한 정량화 방법을 지원합니다.
AnchorComplete: Partial Point Clouds에서 전체 장면 메시지 복원
AnchorComplete: Recovering Complete Scene Meshes from Partial Point Clouds
AnchorComplete는 부분 포인트 클라우드에서 전체 장면 메시지를 복원하는 프레임워크로, 관측된 기하학을 유지하고 다양한 규모의 장면을 지원합니다. 실험 결과, AnchorComplete는 특히 희소한 시점 설정에서 강력한 기존 방법들보다 우수한 성능을 보입니다.
LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds
LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds
LiveFoley은 실시간 비디오-to-오디오 생성을 위한 새로운 아키텍처로, 시각 전처리와 오디오 후처리에서 지연을 최소화하면서도 정확한 오디오-비디오 정렬을 유지합니다. 실험 결과, 오프라인 모델과 동일한 시간 정렬을 달성하고 스트리밍 시스템에서 우수한 생성 품질을 보입니다.
dalision/livefoley · GitHub README
LiveFoley는 동적 실시간 비디오-to-오디오 생성을 위한 프레임워크로, 몰입형 인터랙티브 세계에서의 음향 생성을 가능하게 합니다. 사용자는 비디오 입력을 통해 실시간으로 오디오를 생성할 수 있는 기능을 제공받습니다.
VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
VidDub은 교체 인식을 기반으로 한 두 단계의 영상 더빙 모델로, 소스 입술과 충돌하는 타겟 음성의 동기화를 개선하여 시각적 품질과 식별 유지 능력을 향상시켰습니다. 실험 결과, 교차 음성 동기화 지표(Sync-C)는 0.833 증가했습니다.
LAW1223/VidDub · GitHub README
VidDub은 대화를 교체하면서도 기존 인물, 성능, 장면을 유지하는 비디오 더빙 시스템입니다. 두 단계의 편집기를 통해 전체 맥락을 유지하며, 교체 음성의 발음과 동기화를 보장합니다.
모델을 위한 안전 정렬: 다국어 안전 훈련 확장 방법
How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates
이 논문은 다국어 안전 정렬을 위한 확장 가능한 템플릿 기반 증강 파이프라인을 제안하며, 다국어 안전 평가 데이터셋 MSafeTemp를 발표합니다. 영어 중심의 평가가 다국어 안전을 오해할 수 있음을 보여줍니다.
swiss-ai/msafetemp · GitHub README
MSafeTemp는 60개 언어를 지원하며, 다국어 안전 정렬을 위한 검증된 데이터셋을 제공합니다. 템플릿 기반 증강을 통해 문화적 맥락에 맞는 안전한 데이터를 생성하여 모델의 다국어 안전성을 향상시킵니다.
멀티 레이어 인덱서: 딥스피크 스파스 어텐션에서의 중첩 선택과 주의
Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention
멀티 레이어 인덱서(MLI)는 인덱서 스캔을 제거하고 층 간 선택을 재사용함으로써 딥스피크-V3.2와 GLM-5의 디코딩 시간을 단축시킨다. MLI는 재트레이닝 없이 기존 모델 구조에 통합되어 성능 향상이 확인되었다.
ArjunKrishnak/dsa-multi-layer-indexer · GitHub README
이 저장소는 DeepSeek-V3.2와 GLM-5에서 사용되는 DSA(Sparse Attention)의 성능을 개선하기 위한 Multi-layer Indexer(MLI)를 구현한 프로젝트입니다. MLI는 인접 레이어 간에 선택된 토큰을 공유하여 디코딩 시간을 줄이고, 동시성 처리를 통해 성능 향상을 이끌어냅니다. 주요 기능으로는 인덱서의 재사용, CUDA 스트림 내에서의 병렬 처리, IndexCache와의 호환성 등이 포함되어 있습니다.
SleuthVLM: 오디오가 필요하지 않은 영상 이해?
SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
SleuthVLM은 오디오를 직접 듣지 않고, 텍스트로 변환된 음성과 영상을 처리하여 영상 이해를 수행합니다. 이 모델은 4개의 오미니 벤치마크에서 최고의 정확도를 달성하며, 오디오 처리보다는 에이전트의 능력이 더 중요하다는 결론을 도출했습니다.
WPR001/OpenOmniHarness · GitHub README
OpenOmniHarness는 비디오 이해를 위한 오픈 에이전트 헤르시를 제공하며, 텍스트 트랜스크립트와 비디오를 기반으로 다양한 작업을 수행할 수 있습니다. 사용자는 비디오, 트랜스크립트, 그리고 쉘을 통해 모델이 자율적으로 검색, 재생, 분석을 수행할 수 있도록 지원합니다.
VeriSpoof: One Audio LLM Beyond Real or Fake
VeriSpoof: Beyond Real or Fake with One Audio LLM
VeriSpoof은 다섯 가지 태스크를 통합하여 음성 깊은 페이크 탐지 및 출처 확인을 수행합니다. 연구 결과는 VeriSpoof-Plus가 2.14%의 평균 EER을 달성하며, 오픈 가중치 시스템 중 최고 성능을 보입니다.
swagshaw/verispoof · GitHub README
VeriSpoof은 하나의 통합된 음성 LLM을 통해 말의 심리적 복제를 감지하고, 원천 확인 및 분석을 수행합니다. 사용자는 감지 결과와 함께 근거를 기반으로 한 설명을 받을 수 있습니다.
AI 에이전트 재시작 모니터 평가의 결정 가치 프레임워크
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
분류 정확도와 진짜 양성율, 가짜 양성율만으로는 AI 에이전트 재시작이 성공률을 개선하는지 판단할 수 없다. 결정 가치 기반의 평가 방법을 통해 모니터의 성능을 분석해야 한다.
질문 중심 코드 에이전트로 딥 커널 최적화
Ask, Don't Equip: Question-Driven Coding Agents for Deep Kernel Optimization
KernelSeek은 기존 CUDA 커널을 속도를 높이기 위해 질문을 기반으로 한 에이전트로, 다른 도구나 지식 없이도 성공적으로 최적화를 수행했다. 이 에이전트는 시스템의 다른 레이어로 이동하거나 제한을 거부하는 질문을 통해 성능 향상을 이끌어냈다.
Koopman Generative Operators for Efficient Probabilistic Time-Series Forecasting
Koopman Generative Operators for Efficient Probabilistic Time-Series Forecasting
KGO는 구조화된 불확실성을 기반으로 예측을 개념화하여, 효율적인 추론을 가능하게 합니다. 이 방법은 Koopman Patch Embedding, Koopman Flow Matching, Adaptive Uncertainty Gate라는 세 가지 핵심 구성 요소를 통합하여, CRPS와 NMAE에서 최고의 정확도를 달성하고 추론 시간을 25배 이상 단축합니다.
azencot-group/KGO · GitHub README
KGO는 동적 시스템 이론과 현대 생성 모델을 결합하여 확률적 시계열 예측을 효율적으로 수행하는 오픈소스 프레임워크입니다. 주요 기능은 Koopman 연산자와 흐름 매칭을 결합한 예측 분포 생성입니다.
GaussianRenderFormer: Transformer-based Rendering of 3D Gaussian Splats
GaussianRenderFormer: Transformer-based Rendering of 3D Gaussian Splats
GaussianRenderFormer은 3D 가우시안 스플랫을 렌더링하는 트랜스포머 기반 모델로, 렌더링 시 라스터라이저 없이도 이미지를 직접 출력합니다. 실험 결과, 라스터라이징보다 약 6 dB 낮은 PSNR 성능을 보였으며, 뷰 디코더의 제한이 주요 원인으로 분석되었습니다.
SVLwoof/gaussianformer · GitHub README
GaussianFormer은 3D Gaussian Splats 장면을 Transformer 기반으로 렌더링하는 모델로, 각 Gaussian을 하나의 장면 토큰으로 처리합니다. 이 모델은 렌더링 성능과 정확도를 높이기 위해 사전 학습된 RenderFormer의 가중치를 기반으로 두단계 구조를 사용합니다.
TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
TaoMate-HD는 고해상도 오디오-비디오 스트리밍을 위한 자기회귀 모델로, 텍스트 업데이트 시 이미 생성된 음성 내용을 유지하며 연속적인 생성을 가능하게 합니다. 실험 결과, 고해상도 생성 대비 1.6배의 속도 향상과 캐릭터 오류율 11.18% 감소를 달성했습니다.
TaoLiveAIGC/TaoMate-HD · GitHub README
TaoMate-HD는 고해상도 영상과 음성 생성을 동시에 수행하는 프로그레시브 해상도 자동회귀 모델입니다. 세 단계의 진행적 생성을 통해 480p에서 768p로 해상도를 점진적으로 향상시키며, 연속적인 음성과 움직임을 지원합니다.
Unirestor++: 스케일러블 유니버설 이미지 복원
UniRestorer++: Scalable Universal Image Restoration with Multi-Granularity Degradation Modeling
Unirestor++는 다중 granularity 복원 모델링 기반의 스케일러블 프레임워크로, 다양한 복원 작업을 단일 모델로 처리합니다. 실험 결과, 모델 크기 증가에 따른 PSNR 성능이 로그 선형 추세를 보이며, 분포 외 및 실제 데이터에서 더 높은 스케일링 성과를 보입니다.
mrluin/UniRestorer_plusplus · GitHub README
UniRestorer++는 다중 규모의 퇴화 모델링을 통해 이미지 복원을 확장하는 프레임워크입니다. 주요 기능은 텍스트 캡션 뱅크 생성, 밀도 데그레이션 인코더 훈련, 이미지 특징 추출 및 이진 퇴화 트리 구축 등으로, 사용자는 데이터셋과 사전 학습된 가중치를 제공해야 합니다.
HERIT: Hanja-to-English Historical Translation을 위한 글로벌 접근성 강화
HERIT: Enabling Global Access to Hanja-to-English Historical Translation by Mitigating Temporal Bias
HERIT는 역사적 문서의 번역을 통해 글로벌 접근성을 높이기 위해 시간 편향을 완화하는 도메인 적응 파이프라인을 제안합니다. 이 방법은 풍부한 한자-한국어 코퍼스를 활용해 고품질의 가짜 라벨 데이터를 생성하여 데이터 부족과 시간적 과적합을 해결합니다.
dandamdandam/HERIT · GitHub README
HERIT는 한자 기반 역사 문서의 영어 번역을 가능하게 하기 위해 시간 편향을 완화하는 데 초점을 맞춘 프로젝트입니다. 주요 기능은 검색 강화 생성(RAG)을 통한 가상 라벨링과 두 단계의 미세 조정을 결합하여 200만 개 이상의 번역 결과를 제공합니다.
DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI
DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI
DRAP은 물리 AI에서 지속 학습을 위한 새로운 방법으로, 과거 행동을 유지하면서 새로운 작업을 효과적으로 학습할 수 있도록 설계되었습니다. 이 방법은 경로 위험에 기반한 중요도 메모리와 동적 감도 점을 고려한 학습률 조정을 통해 성능을 향상시켰습니다.
oswaldoludwig/DRAP-Dynamics-Risk-Adaptive-Plasticity · GitHub README
DRAP은 물리 AI에서 지속 학습을 위한 동적 위험 적응성 플라스틱성을 구현한 저장소로, 오프라인으로 계산된 작업 동적 위험을 기반으로 파라미터 중요도를 추적하고 텐서 업데이트를 억제하여 과거 중요 데이터와의 간섭을 줄입니다. LIBERO 로봇 조작 세트 시퀀스에 적응합니다.
SplatAnything: Gaussian Spacing Normalization for Feed-forward 3DGS across Arbitrary Scenes
SplatAnything: Gaussian Spacing Normalization for Feed-forward 3DGS across Arbitrary Scenes
SplatAnything은 Gaussian Spacing Normalization(GSNorm)을 도입하여 3DGS의 Gaussian 예측에 일관된 공간 기준을 제공함으로써, 다양한 장면 스케일과 카메라 구성에서 성능을 향상시켰습니다. 실험 결과, 이 방법은 기존 기법에 비해 상당한 장면 스케일과 시점 변화에서도 우수한 성능을 보입니다.
zju3dv/SplatAnything · GitHub README
SplatAnything은 다양한 장면에서 고품질의 3D 가우시안 재구성 모델을 제공합니다. 객체, 실내, 거리, 항공 씬, 자율주행용 레이어 재구성 및 AR/VR용 360도 파노라마 재구성을 지원합니다.
SLA: 3D 공간 이해를 통한 시각-언어-행동 모델 확장
SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
SLA는 3D 공간 인식을 기반으로 한 시각-언어-행동(VLA) 모델을 개발하여, 다양한 로봇 환경에서의 성능을 향상시켰습니다. 이 모델은 훈련 중에 시각 임베딩과 3D 인식 모델 간의 정렬을 유지하며, 다양한 데이터셋을 통합하여 공간 학습을 가능하게 합니다.
OpenHelix-Team/Spatial-Forcing · GitHub README
Spatial-Forcing(SF)은 시각-언어-행동 모델의 공간 표현을 정교하게 조정하여 성능을 향상시키는 3D 훈련 전략입니다. 실제 세계 실험에서 복잡한 공간 구조를 처리할 때 작업 성공률을 최대 50%까지 높일 수 있습니다.
Drex: 기업용 결정 모델의 새로운 기준
Towards Foundation Decision Models: Drex
Drex는 대규모 언어 모델을 기반으로 한 결정 모델로, 정확도와 효율성을 동시에 높였습니다. 특히 Max 모델은 Decision Index에서 최고 성능을 보이며, 응답 속도도 빠릅니다.
nace-ai/drex-decision-models · GitHub README
nace-ai/drex-decision-models은 결정 모델을 제공하는 저장소로, 상태와 질문을 입력받아 각 선택지의 확률을 반환합니다. 주요 기능은 다양한 모델과 러너를 지원하며, 브라우저 및 CLI에서 실행이 가능합니다.
MetricTrail: Metric Depth 및 로컬 최적화의 힘 다시 탐구
MetricTrail: Revisiting the Power of Metric Depth and Local Optimization for Long-Sequence Streaming 3D Reconstruction
MetricTrail은 장시간 단일 카메라 영상에서 정확한 카메라 운동 추정 및 밀도 레이어 재구성에 특화된 스트리밍 시스템이다. 단일 이미지 기준 깊이 예측을 통해 트랙터 정확도를 향상시키며, DINOv3 표현을 활용한 학습된 어댑터를 통해 매칭 특징을 개선하였다.
nv-tlabs/vipe · GitHub README
ViPE는 원시 비디오에서 카메라 포즈와 밀도 깊이 맵을 분석하는 오픈소스 공간 AI 도구입니다. 카메라 내부 매개변수, 운동, 그리고 근거리 메트릭 깊이 맵을 추정할 수 있습니다.
PCBRouteAgent: LLM 기반 PCB 라우팅 에이전트의 성능 분석
PCBRouteAgent: How Close Are LLM Agents to Becoming PCB Routing Engineers?
PCBRouteAgent는 PCB 라우팅을 자동화하여 복잡한 보드 설계에 효과적인 성능을 보여줍니다. 실험 결과, 실제 데이터셋에서 기존 베이스라인보다 높은 정확도를 달성했습니다.
chip-ai-agent/PCBRouteAgent · GitHub README
PCBRouteAgent는 PCB 라우팅 엔지니어링을 자동화하기 위한 다모달 에이전트 프레임워크로, 글로벌 라우팅 플래너와 세부 라우팅 실행자로 구성됩니다. 이 프레임워크는 PCBWorld 플랫폼에서 실행되며, 라우팅 전략을 반복적으로 조정하여 최적의 결과를 도출합니다.
IWIBench: 기울기 없이 모델 기반 내부 가중치 주입 평가
IWIBench: Evaluating Gradient-Free Model Driven Intra-weight Injection
IWIBench는 편집 모델이 작은 타겟 모델의 가중치를 수정하여 특정 텍스트 편집 목표를 달성하는 능력을 평가하는 시스템이다. 실험 결과, 일부 모델이 다른 모델들보다 훨씬 우수한 성능을 보였으며, 이 능력은 최근 훈련을 통해 획득한 것으로 추정된다.
hcltech-robotics/iwibench · GitHub README
IWIBench는 인트라웨이트 주입 기술을 테스트하는 벤치마크로, 편집 모델이 타겟 모델의 가중치를 수정하여 행동을 변경하는 방식으로 평가합니다. 주요 기능은 편집 후 요청된 행동을 유지하면서 다른 부분의 정확성을 보존하는 것입니다.
NPCBench: 임상 실습 기반 다모달 치료 경로 추론을 위한 기준
NPCBench: A Clinical Apprenticeship Benchmark for Multimodal Care-Pathway Reasoning in Nasopharyngeal Carcinoma
NPCBench는 코로나19 치료 경로를 추론하는 다모달 모델의 성능을 평가하기 위한 임상 실습 기반 기준으로, 4,777개의 구성 요소 및 상담 항목과 100명의 환자 데이터를 포함하고 있다. 이 기준은 모델이 시각적 증거를 바탕으로 진단 및 치료 결정을 내리는지, 환자의 상태 변화를 해석하는지 평가한다.
pidneuralode/npcbench · GitHub README
NPCBench은 코로나19 치료 경로에서 의료 지침, 병리, MRI, 환자 역사 등을 활용한 의사결정 능력을 평가하는 멀티모달 기반의 임상 기반 벤치마크입니다. 이 저장소는 의료 분야에서의 모델 성능을 평가하고 개선하기 위한 다양한 평가 수준과 실험 결과를 제공합니다.
SAE가 MoE 전문가의 인간 해석 가능한 세부 분야 전문성을 드러낸다
SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
이 연구는 MoE 모델의 전문가들이 인간이 해석할 수 있는 세부 분야에 특화되어 있음을 밝혀냈다. SAE를 사용하여 MoE 레이어의 출력을 분석함으로써, 각 전문가가 주도하는 랜스턴트 집합을 식별하였다.
ByteDance-Seed/SAE-interprets-MoE · GitHub README
이 저장소는 Qwen3-30B-A3B 모델의 MoE 블록을 분석하여 전문가의 인간 해석 가능한 세부 전문화를 밝히는 실험을 재현합니다. 주요 기능은 SAE(latent) 활성화 분석을 통한 전문가-잠재변수 간 관계를 시각화하는 것입니다.
VFlash: 시각 계획을 위한 빠른 정확한 방법
VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding
VFlash는 시각 원소의 구조를 활용해 한 번의 전파로 전체 원소를 예측함으로써 자동회귀 모델보다 정확도와 속도를 향상시켰다. 3D 점 운동 예측에서는 약 25배 빠른 생성 성능을 보이며, 여러 작업 세트에서 기존 모델 대비 성공률을 높였다.
nvlabs/eagle · GitHub README
nvlabs/eagle는 NVIDIA가 개발한 비전-언어 모델(VLM) 가족으로, 데이터 중심 전략을 통해 일반적인 멀티모달 이해, 장문 추론 및 체험적 응용을 탐구합니다. 주요 기능은 다중 모달 이해, 장문 처리 및 시각적 위치 인식이며, 다양한 산업 및 연구 프로젝트에서 활용되고 있습니다.
s$^3$: Swarms의 간단한 확장 방법
s$^3$: Simple Scaling of Swarms via Cooperative Multi-agent RL
s$^3$은 에이전트들이 스스로 작업 방식과 정보 공유 시점을 결정하도록 설계된 첫 번째 협동 다 에이전트 강화 학습 방법이다. 이 방법은 더 많은 에이전트로 구성된 시스템에서도 협업 문제를 해결하는 데 성공했다.
FINCOSMOS: 금융 에이전트의 오픈월드 평가 패러다임
FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
FINCOSMOS는 에이전트가 금융 작업을 수행할 때 발생할 수 있는 실수를 측정하는 오픈월드 평가 체계로, 데이터를 직접 수집하고 검증해야 하며, 사용자의 숨겨진 전략과 일치하는 결과를 제공해야 합니다. 실험 결과 에이전트가 대부분의 실패를 겪었으며, 피드백을 통해 학습하는 것이 중요했습니다.
FewStepRL: 미니스텝 확산 모델의 강화학습 기반 미세튜닝
FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
이 논문은 확산 모델의 강화학습을 위한 목표를 미니스텝 모델에 적응적으로 변환하고, 이를 기반으로 다양한 방법을 통합적으로 구현하였다. 실험 결과, 보상 기반 방법이 보상이 미분 가능할 때 가장 효과적이었으며, 그렇지 않을 경우 확산NFT 유형 방법이 적은 반복 횟수로 높은 보상을 달성하였다.
EDAPINENUT/fewsteprl-sd35 · GitHub README
이 저장소는 4단계 SD3.5-Medium 흐름 맵 생성기를 위한 강화학습을 위한 코드베이스로, 다양한 RL 알고리즘을 통합하여 훈련 및 평가를 지원합니다. 주요 기능은 목표 함수의 변환, 기울기 분해, 그리고 적응을 통해 다양한 모델을 구현합니다.
edapinenut/fewsteprl-wan21 · GitHub README
FewStepRL은 4단계 텍스트-비디오 생성 모델을 강화학습으로 미세 조정하는 프레임워크입니다. 주요 기능은 x공간 변환, 기울기 분해, 평균 속도 모델 적응 등으로, FlowGRPO, AWM, DiffusionNFT 등 다양한 알고리즘을 통합하여 사용할 수 있습니다.