← 수도리무브 — 로보틱스 · 피지컬 AI
월드모델 · VLA · 비디오액션모델

GTC 열흘 전 엔비디아가 흘린 논문 다섯 편, 월드모델과 액션모델로 갈렸다

엔비디아가 GTC 2026 키노트 열흘 전 로봇 논문 다섯 편을 한꺼번에 냈다. DreamDojo(월드모델), SONIC·EgoScale(VLA), DreamZero·Cosmos Policy(비디오 액션모델)가 각각 어떤 방법으로 사람 영상을 데이터원으로 바꾸는지, 왜 다섯 편 모두 GPU를 대량으로 쓰는지를 회사·모델 이름별로 정리한다.

sudoremove JB · JC · Noto2026-03-1525분YouTube

엔비디아가 GTC 2026 키노트를 열흘 앞두고 로봇 논문 다섯 편을 한꺼번에 냈다. 월드모델(world model) DreamDojo, VLA(Vision-Language-Action) SONIC·EgoScale, 비디오 액션모델 DreamZero·Cosmos Policy로 갈린다.

핵심 포인트

  • DreamDojo는 월드모델이다. 사람 영상 4만 시간으로 사전학습한 로봇 월드모델(world model, 행동을 넣었을 때 다음 장면이 어떻게 바뀌는지 보여주는 모델)이고, GR1·G1·AgiBot 로봇에 사후학습(post-training)했다.
  • SONIC·EgoScale은 VLA다. 같은 사람 영상에서 손가락 관절값을 마노스 장갑으로 직접 뽑아 GR00T N1 계열 VLA를 만들었고, 사람 영상 데이터양에 대한 스케일링 법칙(scaling law)을 처음 보여줬다고 주장한다.
  • DreamZero·Cosmos Policy는 비디오 액션모델이다. 각각 완(Wan, 140억 파라미터 비디오생성모델)과 코스모스(Cosmos Predict 2)를 파인튜닝해 비디오 생성 모델을 그대로 액션모델로 바꿨다.

같은 재료에서 갈린 세 방식

같은 재료사람 1인칭 영상월드모델DreamDojo사람 영상 4만 시간잠재행동을 자기지도로VLASONIC · EgoScale손 관절값 2만 시간마노스 장갑으로 뽑음비디오 액션모델DreamZeroCosmos Policy영상 생성 모델을 파인튜닝월드모델 안 성공률이실제보다 높다GB200 두 대로 7Hz반응이 못 따라간다
다섯 편이 쓴 재료는 같다. 갈라지는 자리는 그 영상을 무엇으로 바꾸느냐다 — 월드모델은 다음 장면을 그리고, VLA는 손가락 관절값을 직접 뽑고, 비디오 액션모델은 영상 생성 모델을 통째로 파인튜닝한다. 아래 점선 둘은 각 방식이 지금 내는 값이다.
  • DreamDojo의 성공률은 부풀려 있다. 월드모델 안에서 잰 성공률이 실제 로봇보다 항상 높게 나오는데, 성공한 시연 위주로 학습했기 때문이라고 진행자들은 짚는다.
  • 비디오 액션모델은 아직 느리다. DreamZero는 GB200 두 대를 쓰고도 초당 7프레임(7Hz)이라, VLA처럼 잡던 물체를 옮기면 바로 따라가는 반응은 못 한다.
  • 다른 랩이 같은 결론에 닿았다. DreamZero(기어 랩)와 Cosmos Policy(다른 랩, 오픈VLA 저자가 참여)는 서로 다른 백본으로 비디오 모델이 액션모델이 될 수 있다는 같은 방향에 도달했다.
  • Sharpa 손 가격도 나온다. 한 짝에 8천만 원, 두 짝이면 로봇 몸체보다 비싼 1억 6천만 원 안팎이라고 진행자들이 전한다.

주요 숫자

4만 시간
DreamDojo 사전학습 사람 영상
2만 시간
EgoScale 손 관절값 영상
GB200 2대·7Hz
DreamZero 추론 속도
8천만 원
Sharpa 손 한 짝 가격

지금 이거는 밑밥이에요.

반론 · 충돌

  • 바로 다음 날 「Rhoda AI는 VLA를 버렸고 Sharpa는 손안 조작만 따로 구웠다」 편이 편의 DreamDojo는 GR1·G1·AgiBot에 로봇별 사후학습을 거치고 GB200 256개급 인프라를 쓰는데, 다음 날 나온 Rhoda AI는 로봇 사후학습 없이 웹 비디오 300년치 + 로봇 데이터 11시간만으로 비슷한 아이디어(다음 장면 예측 → 행동 역산)를 데모로 보였다. 다만 Rhoda는 정량 지표를 하나도 공개하지 않았다.
  • 이 편 자체가 엔비디아 다섯 개 랩의 자체 발표다진행자들도 이 연구가 GPU를 팔기 위한 것이라고 스스로 인정한다. 다섯 편을 서로 비교할 독립된 벤치마크는 나오지 않았고, DreamZero·Cosmos Policy의 시연 로봇(AgiBot·ALOHA)도 서로 다르다.
  • Cosmos Policy 데모는 진행자들도 낮게 평가한다"그렇게 인상 깊지 않다"고 직접 말하면서도 같은 편에서 "성능은 좋다고 하겠죠"라고 다시 방어한다. 방법론의 성공과 이 데모 한 건의 완성도는 다른 문제로 남는다.
유튜브 자동 자막 전문을 요약한 카드입니다. 자동 인식이라 회사·모델 이름이 흔들리는 대목이 있어 영상 설명란과 논문 링크로 맞춰 적었습니다. 자막은 DreamDojo를 「드림도조」, EgoScale을 「에고 스케일」로 받아 적었고, 다섯 프로젝트명은 모두 설명란 목차(DreamDojo, SONIC, DreamZero, Cosmos Policy, EgoScale)를 기준으로 통일했습니다. 숫자는 진행자가 말한 것을 그대로 옮겼고 따로 검증하지 않았습니다. 투자 추천이 아닙니다.
▶ 원본 영상📄 자막 기반 변환본