월드모델(World Model, 특정 행동을 입력하면 그 행동이 일으킬 미래 관측을 예측하는 모델)은 소라·비오3 같은 비디오 생성모델과 다르다 — 세밀한 액션을 입력받아 그 액션에 대응하는 미래를 낸다는 점이 갈림점이다. 1X Technologies의 1X World Model(1XWM)은 로봇 정책(policy, 어떤 상황에서 어떤 행동을 할지 정하는 함수)이 낸 행동 시퀀스를 넣으면 미래 1인칭 영상과 그 시나리오의 성공확률(상태가치, state value)을 함께 내놓아, 실물 로봇을 돌리지 않고도 정책을 걸러낸다.

핵심 포인트

• 넥스트 프레임 예측이 왜 월드모델과 엮이는가. 언어모델이 다음 단어를 맞히다 보면 지식을 갖추게 됐듯, 비디오 모델도 다음 프레임을 잘 맞히려면 공이 바닥에 튀는 탄성 같은 세상의 물리를 알아야 한다고 진행자들이 짚는다.
• 그래도 구글은 자기네 비오3를 월드모델이라 안 부른다. 텍스트를 넣으면 그에 맞는 영상을 잘 만들지만, 세밀한 액션을 넣었을 때 그 액션에 대응하는 미래 관측을 내보내지는 않는다는 차이다.

• 구글 딥마인드 Genie 2는 방향키가 액션이다. WASD와 스페이스바(점프) 같은 게임 조작 입력을 액션으로 받아, 시작 프레임에서 그 조작에 따라 앞으로 가거나 뒤로 가는 미래 프레임을 만든다.
• 1XWM은 로봇 실물 평가의 병목을 정면으로 겨눈다. 로봇을 실제로 돌려 평가하면 하드웨어가 부서질 위험이 있고 물건 위치 같은 조건을 매번 통제할 수 없다. 1XWM은 정책이 낸 행동 시퀀스를 넣어 미래 영상과 성공확률을 동시에 뽑아, 이 평가를 모델 안에서 대신한다.
• 예측된 성공확률과 실제 성능의 상관관계가 높았다. 학습 스텝(체크포인트)별로도, 비전 인코더(이미지를 모델이 쓸 특징으로 바꾸는 부분) 크기를 L·B로 바꿔서도 1XWM 점수와 실제 로봇 결과가 같은 방향으로 움직였다고 진행자들이 확인한다.
• 성공한 궤적만 넣으면 안 된다. 학습 데이터에 텔레오퍼레이션(사람이 로봇을 직접 조종해 모은 궤적)과 자율 롤아웃 모두에서 성공·실패 사례를 함께 넣어야, 모델이 성공 쪽으로 치우치지 않는다고 짚는다.
• 데이터 양이 적으면 물리 상식이 깨진다. NEO 로봇처럼 데이터가 적은 몸체는 서랍을 강체로 착각해 부서지는 것처럼 생성하지만, 데이터가 많은 몸체는 에어프라이어 통 모양을 미리 알고 열리는 장면을 그린다.
• 한계는 거울 자기 인식과 물리 법칙 위반이다. 거울 앞에서 손을 흔드는 액션을 줘도 거울 속 로봇은 움직이지 않고, 접시가 공중에 뜨는 등 물체가 물리 법칙을 어기는 장면도 나온다.

주요 숫자

월드 모델이 있으면 테스트를 돌리고 나서 좋은 것만 골라서 실제 한번 테스트 하면 되니까.