행동 데이터가 인터넷에 없다는 사실, 실물 로봇을 돌려야 하는 평가 비용, 촉각 센싱과 하드웨어 제조의 미완성이 규모 확대를 막는다고 정리한다. 이를 뚫으려는 수집 경로 다섯을 늘어놓되 어느 쪽도 정답으로 판명되지 않았다고 닫는다.

핵심 포인트

• 막는 것 하나는 데이터가 없다는 사실이다. 행동 데이터는 인터넷에 존재하지 않는다. 텍스트처럼 이미 쌓여 있는 것을 긁어오는 방식이 통하지 않고 물리적으로 직접 모아야 한다.
• 막는 것 둘은 평가 비용이다. 실물 로봇을 돌려야 성능을 알 수 있고 하드웨어가 부서질 위험 때문에 자동 벤치마크를 못 돌린다. 개발 반복 속도가 여기서 직접 깎인다.

• 경로 하나는 텔레오퍼레이션이다. 테슬라는 옵티머스 학습용 조종자를 시급 48달러에 뽑았고 키 170~180cm, 하루 7시간 이상 보행, 13kg 운반이라는 신체 조건을 걸었다. VR 장비를 오래 쓰면 피로와 멀미가 와서 조종 시간 자체가 한계다.
• 경로 둘은 UMI다. 로봇 없이 사람이 들고 다니는 집게로 조작 데이터를 모으고, 그 데이터를 다른 로봇 플랫폼으로 옮긴다.
• 경로 셋은 시뮬레이션이다. 엔비디아 Isaac GR00T가 합성 데이터를 만든다. 시뮬레이션과 현실의 차이를 메우는 것이 관건이다.
• 경로 넷은 커뮤니티다. HuggingFace가 하드웨어와 소프트웨어를 오픈소스로 풀고 데이터·모델을 한곳에 모은다. SmolVLA가 그 가능성의 증거로 제시된다.
• 경로 다섯은 월드모델과 역동역학 모델이다. 1X Technologies가 레이블 없는 영상에서 행동을 역으로 뽑아낸다. 인터넷에 쌓인 사람 행동 영상을 데이터원으로 바꾸려는 시도다.
• 결론은 미정이다. 다섯 경로 가운데 어느 것도 규모 문제를 푼다고 입증되지 않았다.

LLM과 VLA의 대조

주요 숫자

인터넷에 없는 데이터.