IRASim: A Fine-Grained World Model forRobot Manipulation

A Fine-Grained World Model for Robot Manipulation - HKUST · ByteDance Seed (ICCV 2025)

 

https://arxiv.org/abs/2406.14540

IRASim: A Fine-Grained World Model for Robot Manipulation

Project Page: https://gen-irasim.github.io/

Authors: Fangqi Zhu¹², Hongtao Wu²†*, Song Guo¹*, Yuxiao Liu², Chilam Cheang², Tao Kong²

Affiliation: ¹Hong Kong University of Science and Technology, ²ByteDance Seed

Venue: arXiv Preprint (cs.RO) 

Preprint: arXiv:2406.14540v2 (초판 Jun 2024, v2 개정 Jul 2025)

---

0. Abstract

월드 모델은 자율 에이전트가 서로 다른 액션의 시각적 결과를 예측함으로써 계획하고 탐색할 수 있게 한다.

 

그러나 로봇 조작(manipulation)에서는, 시각 공간 안에서 미세한 로봇-물체 상호작용(fine-grained robot-object interaction)을 정확히 모델링하기가 어렵다. 기존 방법들은 각 액션과 그에 대응하는 프레임 사이의 "정밀한 정렬을 간과"하기 때문이다.

 

이 논문에서 IRASim을 제시한다.

이는 과거 관측과 로봇 액션 궤적에 조건화하여, 미세한 로봇-물체 상호작용 디테일을 담은 비디오를 생성할 수 있는 새로운 월드 모델이다.

 

디퓨전 트랜스포머를 학습하고, 각 트랜스포머 블록 안에 새로운 "프레임 단위 액션 조건화 모듈(frame-level action-conditioning module)"을 도입하여 액션-프레임 정렬을 명시적으로 모델링하고 강화한다.

 

 

광범위한 실험은 다음을 보인다.

 

(i) 이 방법이 생성한 비디오 품질이 모든 baseline을 능가하며, 모델 크기와 계산량이 늘수록 효과적으로 스케일된다.

 

(ii) IRASim으로 수행한 정책 평가가 정답 시뮬레이터(ground-truth simulator)로 수행한 평가와 강한 상관관계를 보여, 실제 세계 정책 평가를 가속할 잠재력을 부각한다.

 

(iii) IRASim을 이용한 모델 기반 계획(model-based planning)을 통한 테스트타임 스케일링(testing-time scaling)이 정책 성능을 크게 높인다. Push-T 벤치마크의 IoU 지표가 0.637 → 0.961로 향상된 것이 그 증거다.

 

(IV) IRASim은 유연한 액션 제어성을 제공하여, 데이터셋 안의 가상 로봇 팔을 키보드나 VR 컨트롤러로 조작할 수 있게 한다.

---

 

1. Introduction

월드 모델의 두 가지 응용

월드 모델은 세계의 근본적 동역학을 학습함으로써 에이전트가 자신의 행동 결과를 미리 내다볼 수 있게 한다.

 

이 능력은 로봇 조작에 두 가지 핵심 응용을 제공한다.

 

첫째, 정책 개선.

로봇이 모델 안에서 다양한 액션 제안(action proposal)을 탐색하고 그중 최적을 골라 실행함으로써 자율 정책을 개선할 수 있다.

 

둘째, 확장 가능한 정책 평가.

월드 모델은 사실적이고 합리적인 물리적 상호작용을 생성하여, 실제 세계 평가를 대체하는 효율적 방안을 제공한다.

---

왜 "미세한(fine-grained)" 월드 모델이 필요한가

로봇 조작용 월드 모델을 학습할 때, 로봇·물체·주변 환경 사이의 복잡한 상호작용을 정확히 시뮬레이션하는 것은 여전히 큰 난제다.

 

조작 과제는 본질적으로 섬세해서, 미세한 변화만으로도 과제가 실패할 수 있다.

 

따라서 이 정밀한 상호작용을 충실히 포착하려면 미세한(fine-grained) 월드 모델을 구축하는 것이 필수적이다.

 

또한 현대 로봇 조작 정책은 액션 청킹(action chunking) 기법을 활용하는데, 이는 복잡한 과제를 수행하기 위해 단일 액션이 아니라

액션 궤적(trajectory)을 생성한다.

(action chunking = 한 번에 한 스텝씩이 아니라 여러 스텝의 액션 묶음을 한꺼번에 내놓는 방식. 이것이 IRASim이 "궤적"을 조건으로 받는 이유다.)

---

trajectory-to-video 과제 정의

 

이 논문에서 과거 관측이 주어졌을 때 로봇이 액션 궤적을 실행하는 미세한 로봇-물체 상호작용 디테일의 비디오를 생성하는 월드 모델을 다룬다. 이 과제를 trajectory-to-video 과제라 부른다.

 

text-to-video 생성의 최근 발전에서 영감을 받아, 본 연구에서는 생성 모델을 활용해 세계의 복잡한 동역학(예: 로봇-물체 접촉, 물체의 관절 운동)을 표현하는 데 필수적인 시각 디테일을 포착한다.

 

그러나 text-to-video 모델은 상세한 프레임 단위 지시가 아니라 일반적 맥락 단서를 제공하는 "고수준 텍스트 서술"에 기반해

비디오를 생성하도록 학습된다.

 

이는 trajectory-to-video 과제와 다르다. 후자에서는 궤적의 각 액션이 예측 비디오의 각 프레임에서 로봇 움직임을 정확히 서술하기 때문이다.

(이 대비가 논문의 핵심 동기다. 텍스트 프롬프트는 "영상 전체를 대충" 서술하지만, 액션 궤적은 "프레임마다 정확히" 서술한다. 그래서 프레임 단위 조건화가 필요하다.)

---

IRASim 소개

이 간극을 메우기 위해, 본 연구에서는 복잡한 환경 동역학을 포착하도록 디퓨전 트랜스포머로 학습된 새로운 월드 모델 IRASim을 소개한다.

 

각 트랜스포머 블록 안에 새로운 "프레임 단위 액션 조건화 모듈"을 넣어, 각 액션과 대응 프레임 사이의 정렬을 명시적으로 모델링하고 강화한다.

 

IRASim은 미세한 로봇-물체 상호작용을 시뮬레이션하는 고품질 비디오를 생성한다.

과제 전체를 완수하는 긴 호라이즌(long-horizon) 비디오를 생성하려면, IRASim을 "자기회귀 방식으로 롤아웃"하여

각 클립 간 시간적 일관성을 유지할 수 있다.

(디퓨전 트랜스포머로 한 클립을 만들되, 긴 영상은 자기회귀로 이어붙인다 — 디퓨전 + 자기회귀의 하이브리드. 앞서 본 두 논문이 한쪽 계열만 택한 것과 대비된다.)

---

네 가지 과제와 데이터셋

네 과제로 방법을 검증한다.

1) 궤적 조건부 비디오 생성, 2) 정책 평가, 3) 모델 기반 계획, 4) 유연한 액션 제어성.

 

궤적 조건부 비디오 생성은 네 개의 실제 로봇 데이터셋(RT-1, Bridge, Language-Table, RoboNet)에서 검증한다.

IRASim은 고해상도(최대 288×512)와 긴 호라이즌(150프레임 이상) 비디오를 생성하며, 네 데이터셋 모두에서 baseline을 능가하고 인간 평가에서도 선호된다. 또한 모델 크기·계산량이 늘수록 효과적으로 스케일된다.

 

정책 평가는 IRASim과 LIBERO 시뮬레이션 환경 양쪽에서 수행한다.

IRASim의 평가 결과가 정답 시뮬레이터와 강하게 상관하여, 확장 가능한 정책 평가의 잠재력을 보인다.

 

또한 IRASim을 "시각 동역학 모델(visual dynamics model)"로 삼아 시뮬레이션과 실제 세계 양쪽에서 모델 기반 계획을 수행한다.

정책이 다양한 궤적 제안을 탐색하고 최적을 선택하게 함으로써 복잡한 과제 성능을 크게 높인다.

 

IRASim은 Push-T 벤치마크에서 바닐라 디퓨전 정책의 IoU를 0.637 → 0.961로 높인다.

더 중요한 건, 테스트타임 계산량이 늘수록 개선폭도 커진다는 것이며, 이는 로봇 조작을 위한 "테스트타임 스케일링(test-time scaling)"의 유망한 길을 보여준다.

 

마지막으로, 키보드나 VR 컨트롤러로 수집한 궤적으로 데이터셋 속 가상 로봇을 조작하는 비디오를 생성하여 유연한 액션 제어성을 보인다.

---

기여 요약 (threefold)

(1) trajectory-to-video 과제를 위해 미세한 상호작용 디테일의 고품질 비디오를 생성하는 IRASim을 제안한다.

프레임 단위 액션 조건화 모듈로 정밀한 액션-프레임 정렬을 달성한다.

 

(2) 궤적 조건부 비디오 생성에서 IRASim이 모든 baseline을 능가하며 모델 크기·계산량에 따라 효과적으로 스케일됨을 보인다.

 

(3) 정책 평가와 정책 개선 양면에서 IRASim의 유용성을 보인다.

IRASim 평가와 정답 시뮬레이터 평가가 강하게 상관하며, 모델 기반 계획과 결합하면 시뮬레이션과 실제 세계 모두에서 복잡한 과제 성능을 개선한다.

---

 

 

2.Related Work

World Models

현재 관측과 액션에 기반해 미래 관측을 예측하는 월드 모델(동역학 모델)을 학습하는 연구가 최근 점점 인기를 끌고 있다.

 

자율주행에서는 안전하고 강건한 주행을 위해 환경의 미래 상태를 추론하는 데 쓰였고, 게임에서는 안전하고 샘플 효율적인 RL 에이전트 학습에 활용되었다.

로봇 조작에서는 계획을 위해 액션 조건부 비디오 예측 모델을 학습해 왔다.

 

최근 iVideoGPT는 액션 조건부 예측을 위해 자기회귀 트랜스포머를 학습하는 방안을 제안했고, VLP·UniSim은 액션 정보를 담은 언어로 text-to-video 모델을 프롬프트해 비디오를 생성한다.

(iVideoGPT가 여기 등장한다. DWS가 자기회귀 베이스 모델로 쓴 바로 그 모델 — IRASim은 이걸 자기 방법의 선행 연구로 언급하고 있다.)

 

IRASim은 이들과 달리 초기 관측과 로봇 궤적이 주어졌을 때 고해상도(최대 288×512)·긴 호라이즌(150프레임 이상) 비디오를 생성하며, 미세한 로봇-물체 상호작용을 정확히 포착한다. 또한 모델 기반 계획을 통한 정책 개선과 확장 가능한 정책 평가에서 강한 능력을 보인다.

---

Video Models

비디오 모델은 프레임을 무조건적으로 생성하거나, 클래스·초기 프레임·텍스트·스트로크(strokes)·액션 등을 조건으로 생성한다.

 

최근 디퓨전 모델이 비디오 생성에서 점점 인기를 얻고 있다.

Sora는 Diffusion Transformer(DiT)로 놀라운 생성 능력을 보였다. IRASim도 DiT를 백본으로 활용한다.

(1X 리포트의 Wan, DWS의 Open-Sora, 그리고 IRASim 모두 DiT 계열 백본을 쓴다. Peebles & Xie의 DiT가 세 논문 모두의 공통 토대다.)

 

관련된 한 갈래는 모션으로 비디오 합성을 제어하는 연구다. 이들은 사용자가 지정한 "스트로크, 바운딩 박스, 인간 포즈"를 조건으로 쓴다.

반면 IRASim은 시간에 걸친 복잡한 2D·3D 액션을 프레임 단위 액션 조건화 모듈로 모델링한다.

(스트로크/박스/포즈는 대략적인 공간 힌트인 반면, IRASim은 정밀한 로봇 액션 벡터(2D·3D)를 다룬다는 차별점.)

---

Robot Learning with World Models

월드 모델은 로봇이 액션의 효과를 예측하고 복잡한 환경에서 해법을 계획할 가능성을 지닌다.

정책 학습을 위해 선행 연구들은 액션 조건부 비디오 예측을 "모델 예측 제어(MPC)"와 결합했다.

 

DreamerV3, DayDreamer는 "순환 상태 공간 모델(RSSM : Recurrent State Space Model)"을 활용해 RL용 월드 모델을

모델링함으로써 상태의 잠재 표현을 학습한다.

(RSSM 계열 — 1X와 DWS의 Related Work에도 나왔던 Dreamer 계보. 세 논문 모두 "픽셀/영상 공간, 그들은 잠재 상태 공간"이라는 대비를 공유한다.)

 

최근 FLIP은 흐름 예측(flow prediction)으로 보상을 최대화하는 비디오 계획을 생성한 뒤 역동역학(inverse dynamics)으로 액션을 만드는 방안을 제안했다. 본 연구의 모델 기반 계획과 다른 점은, 본 연구는 미래 비디오를 예측함으로써 액션의 보상을 예측하고 이를 통해 최적 액션을 선택한다는 것이다.

 

확장 가능한 정책 평가를 위해, 최근 연구는 물리 시뮬레이터에서의 평가와 실제 로봇에서의 평가 사이의 상관을 보였다.

물리 시뮬레이터를 쓰는 것과 대조적으로, 본 연구에서는 강력한 생성 모델로 정책의 롤아웃을 시뮬레이션하여 품질을 평가하고자 한다.

(핵심 차별점: 기존은 "물리 시뮬레이터 ↔ 실제"의 상관을 봤지만, IRASim은 물리 엔진 대신 생성 모델(영상)로 정책을 평가한다. 물리 규칙을 코딩하지 않고 데이터에서 배운다는 발상.)

---

 

 

3.Methods

3.1 Problem Statement

trajectory-to-video 과제를 과거 관측 이미지 I^{t−h:t}가 주어졌을 때, 궤적 a^{t:t+n}을 실행하는 로봇의 비디오를 예측하는 것으로 정의한다.

 

여기서 h는 과거 프레임 수, n은 비디오 내 액션 수, a^i ∈ ℝ^d는 i번째 시점의 액션이다.

이 논문은 로봇 팔 예측에 집중한다. 로봇 팔의 전형적 액션 공간은 7 자유도(DoF), 즉 a^i ∈ ℝ^7이다.

3 DoF는 3D 공간의 병진(translation), 3 DoF는 3D 회전, 1 DoF는 그리퍼(집게) 동작이다.

(액션이 25차원(1X)이나 게임 이산 액션(DWS)이 아니라 로봇 팔의 물리적 7DoF다. 이게 IRASim이 "fine-grained"를 말할 수 있는 근거 — 액션 자체가 정밀한 물리량이다.)

---

3.2 Preliminaries 

 

디퓨전 모델은 순방향 과정과 역방향 과정으로 구성된다.

순방향은 T스텝에 걸쳐 데이터 x_0에 가우시안 노이즈를 점진적으로 추가한다.

x_t는 t번째 diffusion timestep의 확산된 데이터, ᾱ_t 는 분산 스케줄로 정의되는 상수, ᾱ_t는 분산 스케줄로 정의되는 상수다.

 

역방향은 순수 노이즈 x_T ∼ 𝒩(0, I) 에서 시작해 노이즈를 점진적으로 제거하여 x_0를 복원한다.

 

이는 수학적으로 위와 같이 표현할 수 있으며, 여기서 μθ(·)와 Σθ(·)는 각각 평균 함수와 공분산 함수를 나타내고 신경망으로 파라미터화될 수 있다.

 

학습 단계에서는 timestep t를 [1, T] 구간에서 샘플링하고, reparameterization trick을 이용해 위 식으로 x_t를 얻는다. 여기서 ε_t ∈ 𝒩(0, I)이다.

 

DDPM처럼 노이즈 예측 모델 ε_θ를 학습한다. 손실은 예측 노이즈와 실제 노이즈의 L2 거리다.

 

추론 단계에서는 먼저 x_T를 𝒩(0, I)에서 샘플링한 뒤, t = 0이 될 때까지 반복적으로 계산하여 x₀를 생성한다.

 

조건부 디퓨전에서는 노이즈 예측 모델을 "ε_θ(x_t, t, c)"로 두며, c가 생성을 제어하는 조건이다.

논문 전반에서 위첨자(superscript)와 아래첨자(subscript)는 각각 입력 비디오 내 프레임의 timestep과 diffusion timestep을 나타낸다.

 

그러나 픽셀 공간에서 전체 비디오를 직접 확산하는 것은 시간이 오래 걸리고 상당한 계산을 요구한다.

Ma et al.에서 착안하여, 계산 효율을 위해 픽셀 공간 대신 저차원 latent 공간 z에서 확산 과정을 수행한다.

He et al.을 따라, "SDXL(Stable Diffusion XL)의 사전학습 VAE"를 활용해 각 프레임 I^t를 VAE 인코더로 latent 표현 z^t = Enc(I^t)로 압축한다.

이 latent 표현은 VAE 디코더로 다시 픽셀 공간으로 복원할 수 있다 (I^t = Dec(z^t)).

---

3.3 IRASim

 

IRASim은 VAE 잠재 공간에서 작동하는 조건부 디퓨전 모델이다.

조건 c = 과거 프레임의 잠재 표현 + 액션 궤적이고, 디퓨전 타깃 = 로봇이 궤적을 실행하는 이후 n프레임의 잠재 표현이다.

 

Sora에서 영감을 받아 DiT를 백본으로 채택한다.

설계 목표 세 가지: 1) 과거 프레임과의 일관성, 2) 주어진 액션 궤적의 준수, 3) 계산 효율.

 

표준 트랜스포머는 모든 토큰에 MHA를 적용해 이차 계산 비용이 든다.

IRASim은 "메모리 효율적 시공간 어텐션(spatial-temporal attention)"으로 이를 줄인다.

과거 프레임 조건화는 과거 프레임을 입력 시퀀스의 정답(ground-truth) 부분으로 취급해 달성한다.

즉 학습 중 예측 프레임에만 노이즈를 추가하고, 과거 프레임은 깨끗하게 유지하며(예측할 필요 없으니), 디퓨전 손실도 예측 프레임에만 계산한다.

(이것이 1X 리포트의 "마스킹으로 I2V→V2V" 트릭의 원본이다. 과거 프레임을 고정 슬롯으로 두고 미래만 생성하는 방식 — 세 논문이 공유하는 조건화 기법.)

 

이 방식은 예측 프레임이 어텐션으로 과거 프레임과 상호작용하게 하여 일관성을 보장한다.

 

궤적 조건을 주입하기 위해, DiT를 따라 "적응적 층 정규화(adaptive LayerNorm, adaLN)"를 사용한다.

• Video-Level Condition

 

text-to-video에서 텍스트 임베딩으로 영상 전체를 조건화하듯, 선형 레이어로 궤적을 하나의 임베딩으로 인코딩한다. 이 임베딩을 diffusion timestep t의 임베딩에 더해, 각 공간·시간 어텐션 블록의 scale 파라미터 γ, α와 shift 파라미터 β를 생성한다.

 

 

• Frame-Level Condition

 

텍스트가 영상 전체를 서술하는 text-to-video와 달리, trajectory-to-video의 궤적은 더 미세한 서술이다.

궤적의 각 액션이 각 프레임에서 로봇이 어떻게 움직일지를 정의하므로, 생성된 각 프레임은 대응 액션과 일치해야 한다.

 

정밀한 프레임 단위 정렬을 위해, 각 프레임을 그 프레임의 액션으로 조건화한다.

궤적을 하나로 인코딩하는 대신, 선형 레이어로 각 액션을 개별 임베딩으로 인코딩한다.

diffusion timestep 임베딩을 각 액션 임베딩에 더해, 공간 블록에서 각 프레임마다 개별 scale·shift 파라미터를 생성한다.

 

시간 블록의 scale·shift 파라미터는 모든 프레임이 동일한 조건 임베딩을 공유하며, 이는 video-level과 유사하게 도출된다.

 

• 출력

 

출력 레이어는 "노이즈 예측 ε̂ = ε_θ(x_t, t, c)"을 내는 선형 레이어를 포함한다.

학습 중 정답 노이즈와의 L2 손실을 계산한다.

VAE는 전 학습 과정 동안 동결(frozen)된다.

추론 시 순수 노이즈에서 시작해 점진적으로 디노이징하여 예측 프레임의 잠재 표현을 얻고, VAE 디코더로 디코딩한다.

---

 

 

4.Experiments

세 질문에 답한다.

1) 미세 상호작용 모델링에 효과적인가? 2) 정책 평가에 쓸 수 있는가? 3) 모델 기반 계획으로 정책을 개선할 수 있는가?

4.1 Trajectory-Conditioned Video Prediction

Set up 

 

데이터셋 4개: RT-1·Bridge(7-DoF) · Language-Table(2-DoF) · RoboNet(최대 5-DoF)
컨텍스트·예측 구성: RT-1·Bridge·Language-Table은 과거 1프레임 + 15액션 → 다음 15프레임 예측 · RoboNet은 iVideoGPT를

따라 과거 2프레임 + 10액션 → 다음 10프레임
해상도: RT-1·Bridge 256×320 · Language-Table 288×512 · RoboNet 256×256
짧은 궤적(short): n개 액션 — 비디오를 단일 생성 패스로 생성 · 긴 궤적(long): 더 많은 액션 — 자기회귀로 여러 패스에 걸쳐 생성하며, 이전 패스의 마지막 생성 프레임이 다음 패스의 조건 과거 프레임이 된다.

 

Baselines 

VDM·LVDM — 둘 다 U-Net 기반 확산(IRASim의 Transformer와 대조). 

LVDM은 latent 공간, VDM은 픽셀 공간에서 확산.

궤적 조건은 원 논문의 텍스트 임베딩처럼 궤적을 임베딩으로 인코딩해 확산을 조건화
추가로 RoboNet에서 비확산 SOTA 2종 비교 — iVideoGPT(다음 visual token을 자기회귀 예측) · MaskViT(반복 정제로 visual token 생성)

 

Metrics

두 유형: 계산 기반(PSNR·SSIM) + 모델 기반(Latent L2 loss·FID·FVD).

하나의 텍스트 조건을 여러 비디오가 만족할 수 있는 text-to-video와 달리, trajectory-to-video는 변이가 훨씬 적다.

예측 비디오의 로봇이 입력 궤적을 엄격히 따라야 한다.

따라서 재구성 지표인 Latent L2 loss와 PSNR을 주 지표로 사용(부록 H에서 이 둘이 모든 평가 지표 중 인간 선호와 가장 잘 정렬됨을 확인)

 

(이 지표 선택이 중요하다. 1X에서 봤던 것 — PSNR은 흐릿함을 선호한다 — 이 여기선 오히려 타당해진다. 정답이 하나로 거의 정해진 과제이기 때문. 다양성을 벌하는 게 결함이 아니라 적합한 성질이 되는 상황이다.)

Video Generation of Short Trajectories.

Fig. 3(a)와 Fig. 10에서 보이듯이, IRASim-Frame-Ada는 세밀한(fine-grained) robot-object 상호작용을 효과적으로 모델링하고 ground truth와 밀접하게 정렬되는 고품질 비디오를 생성한다.

이는 주 평가 지표인 Latent L2와 PSNR뿐 아니라 Sec. 4.1의 인간 평가에서도 비교 대상 baseline 방법들을 모두 능가한다.

Appendix A.1과 A(Fig.)11에 예시되어 있듯이, baseline 방법들은 주어진 궤적을 따라 로봇 팔을 유도하는 데 어려움을 겪으며, 로봇과 객체 간의 상호작용을 사실적으로 시뮬레이션하는 데 실패한다.

 

Video Generation of Long Trajectories.

IRASim을 최고의 baseline 방법인 LVDM과 비교한다.

IRASim-Frame-Ada는 세 데이터셋 모두에서 Latent L2 loss 기준으로 비교 방법들을 일관되게 능가한다. Fig. 3(b)와 Fig. 11은 IRASim이 짧은 궤적 설정에서와 마찬가지로 시각적으로 사실적이고 정확한 비디오를 생성하는 강력한 능력을 유지함을 보여준다.

 

Human Preference Evaluation.

또한 IRASim-Frame-Ada와 다른 방법들 사이의 인간 선호를 이해하는 데 도움이 되도록 사용자 연구(user study)를 수행한다. IRASim-Frame-Ada가 예측한 비디오와 비교 방법이 예측한 비디오를 나란히 병치하고, 사람들에게 어느 쪽을 선호하는지 묻는다. Ground-truth도 참조용으로 함께 제공된다.

IRASim-Frame-Ada는 세 데이터셋 모두에서 비교 대상 방법들을 모두 이긴다(Fig. 4).

이 결과는 Latent L2 loss와 일치하며, Latent L2 loss를 주 평가 지표 중 하나로 사용하는 이유를 정당화한다.

Scaling

서로 다른 모델 크기로 IRASim-Frame-Ada를 학습한다.

모델들의 상세 파라미터는 Appendix E에 나와 있다. 결과는 Fig. 5에 나와 있다.

세 테스트 데이터셋 전반에 걸쳐, IRASim은 더 큰 모델 크기와 더 많은 학습 스텝에 따라 효과적으로 스케일링되며, 이는 계산량 증가를 통한 추가 성능 향상의 강력한 잠재력을 부각한다.

 

---

4.2 Policy Evaluation & 4.3 Model-based Planning

 

LIBERO 벤치마크를 쓴다. 평가자는 성공과 실패 롤아웃을 모두 시뮬레이션할 수 있어야 한다.

그래서 학습된 정책을 시뮬레이터에 배치해 성공·실패가 섞인 post-trained 롤아웃을 모은다.

데이터가 적으니 IRASim을 OpenSora 사전학습 가중치로 초기화한다.

 

두 평가 결과의 Pearson 상관계수는 0.99로, 정답 Mujoco 시뮬레이터와 IRASim 평가가 강하게 상관한다.

---

4.3 Model-based Planning

 

간단한 랭킹 알고리즘을 쓴다.

1) 정책에서 K개 궤적 샘플링 → 2) 각 궤적을 IRASim에서 롤아웃 → 3) 가장 높은 값(value)의 궤적을 실행.

 

Push-T에서 IoU를 value 함수로 쓴다.

IoU 예측용 ResNet50을 post-trained 롤아웃으로 학습한다. "post-trained 롤아웃 수(P)"를 변화시키며 ablation한다.

 

공정 비교를 위해 본 연구의 디퓨전 정책의 IoU를 GPC 논문의 baseline과 맞춘다(0.637 vs 0.642).

K=50, P=1000일 때 IRASim은 바닐라 정책 IoU를 0.637 → 0.961로 높인다.

 

P>0일 때 K가 커질수록 성능이 일관되게 향상된다. 즉 랭킹용 샘플 궤적을 늘려 test-time scaling을 할 수 있다.

P가 커지면 큰 K에서 성능이 계속 오른다. 데이터 크기(P)와 테스트타임 계산(K)이 동시에 스케일돼야 함을 시사한다.

 

이제 Push-T 표 — Abstract부터 세 번 나온 그 숫자를 뜯어볼게.

 

Real-Robot Experiments

 

실제 로봇 데이터셋으로 IRASim을 학습하고 세 과제(서랍 닫기, 귤을 초록/빨강 접시에 놓기)를 실험한다.

목표 이미지(goal image)로 과제를 지정하고, 현재 end-effector 위치 중심의 구(sphere)에서 50개 점을 샘플링해

K=50 궤적을 만든다.

 

유사도 함수 두 개(MSE, ResNet50 특징의 코사인 유사도)를 실험한다.

MSE가 ResNet보다 훨씬 우수했고, 두 변형 모두 계획 없이 무작위 선택하는 정책을 크게 능가한다

(Table 6: Random 0.20/0.07/0.13 → IRASim-MSE 0.87/0.80/0.87).

---

4.4 Flexible Action Controllability

"키보드(Language-Table의 2D)와 VR 컨트롤러(RT-1의 3D)"로 가상 로봇을 조작한다.

특히 이렇게 수집한 궤적은 원본 데이터셋의 분포에서 벗어난다.

 

IRASim은 서로 다른 입력 소스의 궤적을 따르고 사실적으로 상호작용을 시뮬레이션한다.

무엇보다 생성의 다중모드성(multimodality)을 강건하게 처리한다.

부록 A.4에서는 물리적으로 불가능한 궤적도 강건하게 처리함을 보인다.

(같은 초기 프레임 + 다른 궤적 → 다른 영상. 이게 월드 모델이 "궤적을 진짜 따른다"는 강한 증거다. 궤적을 무시하고 데이터셋 평균만 재생하는 게 아니라는 것.)

---

 

 

5.Conclusion

 

본 연구에서는 과거 관측이 주어졌을 때 로봇이 액션 궤적을 실행하는 미세한 상호작용 디테일의 비디오를 생성하는 월드 모델 IRASim을 제시했다. 프레임 단위 액션 조건화 모듈로 정밀한 액션-프레임 정렬을 달성한다.

 

실험은 IRASim이 로봇 궤적 롤아웃을 정확히 시뮬레이션하는 긴 호라이즌·고해상도 비디오를 생성함을 보인다.

또한 IRASim을 "정책 평가용 시뮬레이터"이자 "모델 기반 계획용 동역학 모델"로 활용할 수 있음을 보인다.

 

한계: 다른 생성 모델처럼 IRASim도 비디오 생성이 실시간이 아니다.

향후 diffusion distillation으로 생성 속도를 높이고, IRASim을 동역학 모델로 삼아 월드 모델 안에서 강화학습으로 정책을 개선하는 방향을 탐색할 계획이다.

(Limitation이 딱 하나 — "실시간이 아니다". Push-T에서 K=50 궤적을 매번 롤아웃하는 비용을 스스로 인정한 것.

그리고 "미래엔 RL로 정책 개선" = 이게 바로 DWS가 실제로 한 일. IRASim이 "future work"라 남긴 걸 DWS가 이어받은 셈이다.)

 

 

이상으로 본 논문의 리뷰를 마친다.