Rhoda AI 는 스텔스에서 막 나온 로봇 회사다. VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)로는 범용성에 못 닿는다고 보고, 웹 비디오로 학습한 생성 모델이 다음 프레임을 예측하면 그 프레임을 역산해 관절 명령을 뽑는 DVA(Direct Video Action)를 택했다. 같은 편에 나오는 Sharpa 는 반대로 VLA 를 쓰되 어려운 구간만 떼어 냈고, 그 카드는 같은 섹션에 따로 있다.

핵심 포인트

• 학습량이 한쪽으로 심하게 쏠려 있다. 웹 비디오 300년치로 사전학습한 다음 로봇 데이터는 11시간만 얹었다고 주장한다. 진행자들은 300년이라는 단위 자체가 이상하다고 먼저 짚는다.
• 다음 프레임을 시간 순서대로 하나씩 예측한다. 보통의 비디오 생성은 정해진 길이의 영상을 양방향으로 만드는데, 이쪽은 지나간 프레임을 KV 캐시로 들고 가면서 LLM의 다음 토큰 예측처럼 다음 장면을 잇는다.
• 행동은 그 장면에서 거꾸로 계산해 나온다. 비디오 모델은 그림만 그릴 줄 알지 관절은 모른다. IDM(Inverse Dynamics Model, 역동역학 모델 — 지금 장면과 다음 장면 두 장을 받아 그 사이에 있었을 관절 움직임을 거꾸로 계산한다)이 그 차이를 관절 명령으로 옮기고, 두 모델이 번갈아 돌아간다. 지금 실행하는 행동은 앞서 예측해 둔 것이다.

• 야바위 데모가 시각 기억의 증거로 나온다. 컵 아래 물건을 감추고 섞는 작업은 지금 이미지만 보는 VLA로는 원리상 못 푼다. Rhoda 쪽은 지나간 프레임을 전부 들고 있어 어느 컵인지 기억한다.
• 말을 안 쓰고 영상이 프롬프트 구실을 한다. 사람이 몸으로 한 번 보여 주면 로봇이 따라 한다. LLM의 퓨샷 프롬프팅에서 예시가 하던 일을 영상이 대신하는 셈이다.
• 정량 지표를 하나도 안 냈다. 모델 파라미터도 초당 프레임 수도 밝히지 않았고 데모만 공개했다. 진행자 한 명은 "그냥 정량적인 거는 이게 다였어"라고 말한다.

주요 숫자

이게 정답이 아닐 수도 있죠. 근데 이게 됐다라는 걸 보여줬다는게 나는 굉장히 중요한 거 같아요.