수도리무브

필자는 Physical AI를 "VLA(Vision-Language-Action, 시각·언어·행동 통합) 모델을 end-to-end로 써서 규칙 기반으로는 불가능했던 범용 물리 작업을 해내는 시스템"으로 좁게 잡자고 주장한다. 넓게 잡으면 이미 10년 전부터 있던 것들과 구분이 사라진다.

핵심 포인트

• 용어의 출처는 엔비디아다. 젠슨 황이 GTC 2024에서 꺼냈고 "로보틱스의 ChatGPT 순간이 곧 온다"고 예고했다.
• 경계선은 2023년 7월 RT-2다. 구글 딥마인드가 웹 데이터와 로봇 데이터를 함께 학습하며 로봇의 동작을 언어 토큰처럼 다뤘다. 학습에 없던 물체로의 일반화, 추론을 거친 명령 수행, 다단계 계획이 이때부터 열렸다.

• 증거는 예전엔 안 되던 작업이 된다는 것이다. Physical Intelligence의 π0와 Figure의 Helix가 빨래 개기를 자율로 해냈다. 형태가 매번 달라지는 변형체라 로보틱스의 성배로 불리던 작업이다.
• 고전 로보틱스 진영도 넘어왔다. 모듈형 구조와 MPC(모델 예측 제어)를 쓰던 보스턴 다이내믹스가 디퓨전 트랜스포머 기반 LBM(Large Behavior Model)을 만들고 있다.
• 이름만 바뀐 것이 아니라는 주장이다. LLM·VLM 학습에서 넘어온 세계 지식을 물려받아, 명시적으로 프로그래밍하지 않은 새 물체도 다룬다는 점을 근거로 든다.

고전 로보틱스와 Physical AI

주요 숫자

로보틱스의 ChatGPT 순간이 곧 온다.

LLM에서 VLM으로, 다시 VLA로 이어지는 계보를 한 줄로 세우고 세 용어의 층위를 나눈다. 언어에서 LLM이 해낸 범용화를 로봇의 몸에서 되풀이하려는 시도인데, 행동 데이터는 인터넷에 없다는 점이 그 경로를 막는다.

핵심 포인트

• 계보는 한 줄이다. LLM(텍스트)에서 VLM(시각과 언어)으로, 다시 VLA(시각·언어·행동)로 이어진다. 최근에는 촉각을 더한 VTLA까지 나온다.
• 세 용어의 층위가 다르다. VLA는 시각 인지·언어 지시·모터 동작을 한 모델에 넣은 것, LBM은 사실상 같은 것을 행동 출력 쪽에서 부르는 이름, RFM(Robot Foundation Model)은 그보다 위 개념으로 여러 환경과 여러 과제를 한 모델이 감당한다는 뜻이다.

• 특화형이 무너지는 지점이 있다. 물체 형태가 매번 달라지는 빨래 개기, 쥐는 힘과 접촉 방식을 상황마다 조절해야 하는 무른 물건 다루기가 그렇다.
• 범용 로봇이 갖춰야 할 것은 세계 지식이다. 물건은 떨어지고 물은 마르며 사람 말에는 생략된 맥락이 있다는 것을, 로봇이 별도 학습 없이 이미 알고 있어야 한다는 발상이다.
• 병목은 데이터의 존재 자체다. 로봇이 물건을 집고 문을 열고 빨래를 개는 데이터는 인터넷에 없다. 텍스트를 인터넷 규모로 긁어 성공한 LLM의 경로를 그대로 밟을 수 없는 이유다.

주요 숫자

언어의 LLM을 몸에서 되풀이한다.

분류·검출·분할마다 따로 있던 비전 모델이 통합 VLM 하나로 수렴한 경로를 로보틱스가 그대로 밟고 있다고 본다. 그 전환을 떠받치는 조건으로 사전학습 VLM 백본, 교차 embodiment 데이터셋, 스케일링 법칙 셋을 든다.

핵심 포인트

• 특화형과 범용형의 차이가 환경에서 갈린다. 특화형은 통제된 조건에서 성능이 높지만 환경이 조금만 달라져도 무너진다. 범용형은 학습에 없던 상황을 zero-shot(사전 예시 없이)이나 few-shot(예시 몇 개만으로) 처리한다.

• 조건 하나는 사전학습 VLM 백본이다. PaliGemma·Qwen-VL·SmolVLM이 인터넷 규모 학습에서 얻은 상식을 이미 갖고 있어, 로봇이 기초부터 배울 필요가 없어졌다.
• 조건 둘은 교차 embodiment 데이터셋이다. 서로 다른 로봇에서 모은 데이터를 함께 쓴다. Open X-Embodiment는 로봇 22종 이상, 과제 527개, 에피소드 100만 건을 넘는다.
• 조건 셋은 스케일링 법칙이다. 모델이 커지고 데이터가 다양해질수록 일반화가 좋아진다는 LLM의 경험칙이 로봇에도 적용될 것으로 본다.
• 일반화 사례가 이미 나와 있다. π0.5는 학습에 없던 환경에 적응하고, GR00T는 서로 다른 하드웨어를 오가며, SmolVLA는 4.5억 파라미터로 범용 수준의 성능을 낸다.
• 당분간의 절충은 파인튜닝이다. 넓은 기반 모델에 과제별 미세조정을 얹어 특화형의 정밀도와 범용형의 유연성을 같이 가져간다. 웹 데이터·시뮬레이션·로봇 데이터를 함께 학습해 미세조정조차 필요 없게 만드는 것이 지향점이다.

교차 embodiment 데이터셋

주요 숫자

비전 AI가 걸어간 길.

행동 데이터가 인터넷에 없다는 사실, 실물 로봇을 돌려야 하는 평가 비용, 촉각 센싱과 하드웨어 제조의 미완성이 규모 확대를 막는다고 정리한다. 이를 뚫으려는 수집 경로 다섯을 늘어놓되 어느 쪽도 정답으로 판명되지 않았다고 닫는다.

핵심 포인트

• 막는 것 하나는 데이터가 없다는 사실이다. 행동 데이터는 인터넷에 존재하지 않는다. 텍스트처럼 이미 쌓여 있는 것을 긁어오는 방식이 통하지 않고 물리적으로 직접 모아야 한다.
• 막는 것 둘은 평가 비용이다. 실물 로봇을 돌려야 성능을 알 수 있고 하드웨어가 부서질 위험 때문에 자동 벤치마크를 못 돌린다. 개발 반복 속도가 여기서 직접 깎인다.

• 경로 하나는 텔레오퍼레이션이다. 테슬라는 옵티머스 학습용 조종자를 시급 48달러에 뽑았고 키 170~180cm, 하루 7시간 이상 보행, 13kg 운반이라는 신체 조건을 걸었다. VR 장비를 오래 쓰면 피로와 멀미가 와서 조종 시간 자체가 한계다.
• 경로 둘은 UMI다. 로봇 없이 사람이 들고 다니는 집게로 조작 데이터를 모으고, 그 데이터를 다른 로봇 플랫폼으로 옮긴다.
• 경로 셋은 시뮬레이션이다. 엔비디아 Isaac GR00T가 합성 데이터를 만든다. 시뮬레이션과 현실의 차이를 메우는 것이 관건이다.
• 경로 넷은 커뮤니티다. HuggingFace가 하드웨어와 소프트웨어를 오픈소스로 풀고 데이터·모델을 한곳에 모은다. SmolVLA가 그 가능성의 증거로 제시된다.
• 경로 다섯은 월드모델과 역동역학 모델이다. 1X Technologies가 레이블 없는 영상에서 행동을 역으로 뽑아낸다. 인터넷에 쌓인 사람 행동 영상을 데이터원으로 바꾸려는 시도다.
• 결론은 미정이다. 다섯 경로 가운데 어느 것도 규모 문제를 푼다고 입증되지 않았다.

LLM과 VLA의 대조

주요 숫자

인터넷에 없는 데이터.

진행자들이 약 300페이지 AI 연간 보고서에서 여덟 가지를 추린다. 오픈AI가 아직 1위지만 중국 모델(알리바바 Qwen·딥시크·GLM)이 약진해 격차가 좁혀졌고, RL(Reinforcement Learning, 강화학습)로 수학·코딩을 정복한 흐름이 다음은 물리 노동이라는 결론으로 이어진다.

핵심 포인트

• LLM 순위표에서 오픈AI 선두가 흔들린다. 알리바바 Qwen·딥시크·GLM이 상위권에 오르고 메타 라마 4는 꼴찌로 밀렸다. 한국의 LG X4.1·업스테이지 솔라 프로 2도 리더보드에 이름을 올렸다.
• RLVR(Reinforcement Learning with Verifiable Rewards, 정답을 검증할 수 있는 문제에서의 강화학습)이 최근 성능의 원천이다. 오픈AI와 구글의 모델이 IMO(국제수학올림피아드)와 코딩 경진대회에서 금메달을 땄다는 것을 증거로 든다.

• 다음 자동화 대상은 물리 노동이라고 못박는다. "비싼 일부터" 대체해 온 흐름이 로봇의 몸을 빌려 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델) 형태로 물리 세계까지 번진다는 것이다.
• VLA와 로봇 몸체가 동시에 쏟아진다. 엔비디아 GR00T N1·바이트댄스 GR-3·Physical Intelligence π0.5 같은 VLA와, 유니트리·Figure AI·테슬라 옵티머스·1X Technologies NEO 같은 로봇이 함께 나온다.
• 스타게이트급 컴퓨트 투자가 배경이다. 칩 400만 개·전력 10GW 규모 프로젝트를 2015년 GPU 128개와 대비해 짚고, 앤트로픽 5GW·xAI와 메타 각 1GW 목표를 나란히 든다.
• 고용 시장에서는 신입부터 줄었다. 25세 이하 소프트웨어 개발자가 20%, 고객 응대(CS) 인력이 10% 줄었다는 수치를 들며, 숙련 인력은 아직 크게 줄지 않았다고 대비한다.

주요 숫자

애플은 요즘 뭘 하고 있을까요? 좀 잠잠하네요.

DYNA Robotics의 새 로봇 모델 Dyna-2는 WAM(World Action Model, 미래 영상을 상상하며 행동을 뽑는 로봇 모델)이다. 사람 1인칭 영상 100만 시간(사람으로 환산하면 170년)만 사전학습하고 로봇 데이터는 한 번도 학습하지 않은 채 로봇 태스크를 제로샷으로 통과시켰다는 스케일링 법칙(scaling law, 데이터를 늘릴 때 성능이 어떻게 좋아지는지의 규칙성)을 내세운다. 진행자들은 이 「170년」이 같은 채널이 다룬 Rhoda AI의 「웹 비디오 300년」과 다른 것을 센 숫자라는 점부터 짚는다.

핵심 포인트

• 사람 손목을 6DOF(6 Degrees of Freedom, XYZ 위치와 요·피치·롤 회전을 더한 여섯 자유도) 그리퍼로 좌표화한다. 1인칭 영상에서 손목 위치와 엄지·검지 사이 거리를 뽑아 좌표와 쥠 여부로 바꾼다. 머리 카메라가 흔들려도 손목 좌표가 유지되도록 중력 방향까지 따로 보정한다.
• 로봇 데이터를 한 번도 안 보고도 제로샷이 됐다. 사람 데이터 검증 → 로봇 제로샷 평가 → 로봇 파인튜닝 순으로 검증했고, 로봇 학습 없이도 제로샷 오프라인 평가가 됐다는 것이 이 편의 핵심 주장이다.

• 파인튜닝 성공률이 20%에서 53%로 올랐다. 사람 데이터 스케일을 늘릴수록 실제 로봇 파인튜닝 성공률이 20%, 28%, 45%, 53%로 올랐다. 진행자들은 53%가 아직 배포 가능한 수준은 아니라고 선을 긋는다.
• 액션만 쓰면 오히려 나빠진다. 로봇 데이터의 액션만 학습하면 데이터가 늘어도 성능이 떨어지는 구간이 있었고, 로봇 비디오까지 예측(조인트)해도 별 차이가 없었다. 사람 영상을 코트레이닝해야 가장 좋았다.
• 170년과 300년은 같은 자가 아니다. Dyna-2의 100만 시간은 과제를 하는 사람 1인칭 영상을 벤더가 직접 촬영해 손목 좌표까지 뽑아낸 데이터다. 같은 채널이 다룬 Rhoda AI의 웹 비디오 300년치는 로봇 손이 나오지 않는 일반 인터넷 영상이다. 진행자들도 「170년」의 다음 자릿수(1700년)를 "1700명이 1년 동안 일하는 데이터"라며 스스로 깎아내린다.
• 인퍼런스 지연 시간은 공개하지 않았다. 원스텝 디스틸레이션(디노이징을 여러 단계 거치지 않고 한 번에 영상을 만드는 방식)으로 영상 생성을 90~300ms까지 줄였다고 주장하지만, Dyna-2 자체의 전체 지연 시간(액션이 나오기까지)은 공개하지 않았다.
• DYNA-1(VLA)을 이긴 수치도 초기 버전 기준이다. 100만 시간 코퍼스가 모이기 전 초기 WAM이 DYNA-1 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)를 1.5배, 코트레이닝 버전이 1.12배 앞섰다는 수치로, 완전히 동일한 조건 비교는 아니다.
• 실제 고객 현장에서는 품질·속도·신뢰성으로 갈렸다. 사내에서는 DYNA-1 VLA도 태스크 완료율이 높았지만, 고객이 요구하는 품질·처리 속도·신뢰성에서는 Dyna-2(WAM)가 나았다고 회사는 밝힌다.

주요 숫자

1700년 별거 아니잖아요. 1700명이 1년 동안 일하는 데이터잖아요.

구글 딥마인드가 Gemini Robotics 2.0을 공개했다. 임바디드 리즈닝(Embodied Reasoning, ER — 시각·언어를 받아 상황을 판단하는 상위 모델)이 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)를 하니스(harness, 상위 모델이 하위 모델에게 자연어 명령을 내리고 종료 조건까지 감시하는 지휘 구조)하는 3종 모델 체계를 처음 한 자리에서 보여줬다. 베이스 모델은 Gemini Flash 계열을 물려받아 버전마다 바뀌었고, 가장 어려운 과제였던 비닐봉지 묶기는 성공률 44%를 그대로 공개했다.

핵심 포인트

• 철학은 뇌는 팔고 몸은 빌리는 것이다. 하드웨어는 만들지 않고 임바디드 리즈닝을 API로 공개해 누구나 붙여 쓰게 하며, 지금 돈은 계기판 눈금 읽기 같은 인스펙션(검사) 과제에서 먼저 번다.
• 모델은 임바디드 리즈닝·VLA·온디바이스 3종이다. 셋 다 Gemini Flash 계열에서 파인튜닝됐고, 온디바이스는 협업 중인 로봇 회사(트러스티드 파트너)에게만 준다. VLA가 임바디드 리즈닝의 디스틸레이션(더 큰 모델의 능력을 작은 모델로 옮겨 배우는 방식)이라는 것은 1.0 테크리포트 이후로는 회사가 명확히 밝히지 않아 추정으로 남는다.

• 버전은 베이스 모델이 바뀔 때 뛴다. 1.0(2025-03-12, Gemini 2.0 Flash) → ER 1.5(2025-09-25, 2.5 Flash) → ER 1.6(2026-04-14, 3.0 Flash) → 2.0(3.5 Flash) 순으로, 숫자가 오를 때마다 밑에 깔린 재미나이 자체가 바뀌었다.
• 판단과 반사가 계층으로 갈린다. 임바디드 리즈닝은 1Hz로 VLA에 명령을 내리고, VLA는 속도·자세·손가락 관절 위치를 출력한다. 그 출력을 실제로 몸에 반영해 넘어지지 않게 하는 것은 엣지에 내장된 강화학습 기반 홀바디(전신) 컨트롤 정책이다.
• 프리트레이닝에 액션 데이터는 일부러 뺀다. 로보틱스팀은 재미나이 플래시의 프리트레이닝에 공간 이해 쪽으로 직접 기여하면서도, 관절 움직임 같은 모션 데이터는 넣으면 오히려 해가 될 수 있다고 밝힌다.
• Sharpa 손을 쓰고도 촉각은 거의 안 쓴 것으로 보인다. 비닐봉지 묶기에 쓰인 Sharpa 손은 한 짝 5만 달러(약 7,500만 원)에 촉각 센서가 달려 있지만, 시연에서는 촉각을 안 쓴 것 같다고 진행자들은 짚는다.
• 정량 수치는 발표 자리를 옮길수록 지워졌다. 서버 5Hz·액션 청크 50Hz(초당 50개)라는 수치가 실리콘밸리 슬라이드에는 있었지만 도쿄에서 줄고 최근 휴먼노이드 서밋에서는 아예 빠졌다.
• 외국산 휴머노이드 규제에서 구글 딥마인드만 비켜난다. 미국 FCC(연방통신위원회) 규제는 부품 원가 65% 이상이 미국산이어야 통과인데, 하드웨어를 안 파는 구글 딥마인드는 이 기준과 무관하다. 다만 이를 "구글 호재"로 부른 진행자 주장은 방송 중 스스로 정정됐다.

주요 숫자

여기 로보틱스도 하네스 엔지니어링을 하고 있군요.

7월 21일 인수설이 불거진 두 회사, Physical Intelligence와 앤트로픽이 로봇을 다른 자리에서 접근한다. Physical Intelligence는 π0부터 π0.7까지 로봇 전용 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)를 직접 만들어 왔고, 앤트로픽은 로봇 전용 모델 없이 범용 언어모델이 관절값을 직접 내거나 기존 액션모델을 도구로 부르는 식으로 실험한다. 관절값을 직접 내면 5%, 액션모델을 도구로 부르면 30~42%까지 오른다는 수치가 그 차이를 보여 준다.

핵심 포인트

• 인수설의 계기는 Claude Opus 5의 로봇 시연이다. 액션 전용 모델이 아닌 범용 언어모델이 관절값 14개 안팎을 직접 움직여 로봇 과제를 6분 50초 만에 마쳤다는 트윗이 돌았다.
• Physical Intelligence는 π0부터 π0.7까지 로봇 전용 액션 모델을 만들어 왔다. π0.6부터는 강화학습으로 얻은 더 나은 정책의 롤아웃을 다시 사전학습 데이터로 되먹이는 데이터 플라이휠을 π0.7에서 완성했다.

• 앤트로픽은 로봇 전용 모델 없이 두 가지 제어 방법을 시험했다. 다이렉트(LLM이 관절값을 직접 출력)와 폴리시 슈퍼비전(LLM이 기존 액션모델을 도구처럼 호출)이다.
• 다이렉트 방식은 시뮬레이터 LIBERO(로봇 조작 과제를 겨루는 시뮬레이션 벤치마크)에서 5%를 냈다. 같은 벤치마크에서 전용 액션모델은 90~95%를 낸다. 파인튜닝 없이 5%가 나온 것을 진행자들은 놀라워한다.
• 액션모델을 도구로 부르니 결과가 갈렸다. Ai2의 MolmoAct(로봇 조작에 특화된 액션모델)가 86%로 잘하는 익숙한 과제에서는 LLM이 개입할수록 오히려 성능이 떨어졌지만, MolmoAct가 0%인 낯선 과제에서는 30~42%까지 올랐다.
• Physical Intelligence의 한 연구원은 언어의 역할을 회의하다가 생각을 바꿨다. 원래는 눈으로 보고 바로 행동하면 되지 언어가 왜 필요하냐는 입장이었는데, Claude 에이전트를 쓰며 언어를 컨텍스트를 채우는 창구로 재해석했다.
• 휴머노이드 폼팩터는 입사 조건으로 거부할 만큼 반대편이다. 자동차가 말보다 효율적이라 도로가 자동차에 맞춰 새로 깔린 것처럼, 로봇 구조에 맞게 주변이 바뀌는 게 맞다는 논리다.
• 중국 하드웨어 공급망은 미국 로봇 회사에도 걸쳐 있다. 로봇팔 제조사 프랑카는 중국 자본에 인수됐고, 테슬라 옵티머스 부품도 상당수 중국산이라는 관찰이 나온다.

주요 숫자

랭귀지가 세상의 압축인 거죠.

Sunday Robotics가 "데모는 그만, 이제부터는 솔브(solve, 정해진 범위 안에서 신뢰할 수 있는 성능)만 낸다"며 처음 보는 집에서 빨래 개기 제로샷(zero-shot, 추가 학습 없이 곧바로) 99.1%를 공개했다. 데이터는 시급 30~60달러를 받는 '메모리 디벨로퍼' 약 1,000명이 스킬 캡처 글로브를 끼고 모은다. 후반부는 MIT 교수 Russ Tedrake가 창업한 산업용 로봇 회사 Walden Robotics를 다룬다.

핵심 포인트

• 데모 대신 솔브. Sunday Robotics는 시리즈 B를 알리며 데모를 그만 내고 정해진 범위 안에서 신뢰할 수 있는 성능만 내겠다고 선언했다.
• 제로샷 99.1%. 처음 보는 집에서 가정별 추가 학습(post-training) 없이 빨래 개기를 99.1% 성공했다고 밝혔다. 모양이 일정하지 않은 블라우스는 94%로 더 낮았다.

• 스케일링 법칙. 사전학습(pretraining, 배포 전 미리 대량 데이터로 학습하는 단계) 데이터양이 늘수록 처음 보는 집과 학습에 쓴 집 사이 성능 격차가 0으로 수렴하는 그래프를 LLM(거대언어모델) 스케일링 법칙에 빗댔다.
• 메모리 디벨로퍼. 데이터를 모으는 사람을 '데이터 콜렉터'가 아니라 '메모리 디벨로퍼'라 부르고, 시급 30~60달러를 준다. 최소 83명이 이 직함을 링크드인에 올렸다.
• 동시 작업자 1,000명. 스킬 캡처 글로브(Skill Capture Glove, 양손 그리퍼와 머리 카메라를 단 장치)를 낀 사람 약 1,000명이 동시에 빨래를 접으며 데이터를 만든다.
• 엣지 추론으로 전환. 실험실은 클라우드 추론을 쓰지만, 가정마다 다른 와이파이 지연 때문에 로봇 내장 장치(엣지, edge)에서 바로 추론하도록 코드를 새로 짰다.
• Walden Robotics 등장. MIT 교수 Russ Tedrake가 도요타 리서치 인스티튜트(Toyota Research Institute, TRI) 출신들과 산업용 로봇 회사를 창업했다. 시드 3억 달러로 기업가치 11억 달러에서 출발했다.
• 대체 아닌 증강. Walden Robotics는 노동을 대체(replace)하지 않고 증강(amplify)한다는 표어를 내세우며 노동경제학자들과 사회적 영향을 논의했다고 밝혔다.

주요 숫자

프런티어 기술이 왜 다 빨래임?

한국 RLWRLD가 로봇 파운데이션 모델(RFM, Robot Foundation Model) RLDX-1을 공개했다. 모델 가중치 세 종과 인퍼런스·학습·LoRA(Low-Rank Adaptation, 전체 가중치 대신 일부만 값싸게 다시 학습하는 파인튜닝 기법) 코드까지 열었다는 점에서 「SOTA 오픈웨이트」를 내세우지만, 어블레이션 실험과 벤치마크 설계의 공정성은 그 공개 범위 밖에 있다.

핵심 포인트

• 가중치 세 종을 다 열었다. 사전학습판 RLDX-1-PT와, ALLEX(WIRobotics가 만든 로봇)·DROID(공개 로봇 데이터셋 임바디먼트) 각각에 맞춘 RLDX-1-MT-ALLEX·RLDX-1-MT-DROID가 허깅페이스에 있다.
• 인퍼런스·학습·LoRA 코드까지 셋 다 공개했다. 로보틱스 파운데이션 모델 중에서는 흔치 않게 넓은 범위라고 진행자들은 짚는다.

• 모션·피직스·메모리 세 모듈로 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)가 못 보던 신호를 더한다. 물체의 속도·방향(모션), 손목 토크(피직스), 과거 프레임 요약(메모리)을 각각 서브모듈로 넣는다.
• MSAT(Multi-Stream Action Transformer)가 모달리티를 하나로 안 섞는다. 텍타일·토크, 코그니션+메모리, 액션을 별도 스트림으로 나눠 서로 거리가 먼 토큰이 같은 어텐션에 뒤섞이는 것을 피한다.
• 어블레이션 실험은 거의 없다. 진행자들은 8B(80억) 파라미터라 구성 요소별 비교 실험을 다 돌리기 어렵다는 현실적 이유와, 전략적으로 뺐을 수도 있다는 의심을 함께 든다.
• 벤치마크가 자사 강점에 맞춰 설계됐다. 모션·촉각·과거 메모리처럼 기존 VLA가 구조적으로 못 푸는 과제를 표적으로 삼았기 때문에, 점수가 높은 것이 개선의 증거이자 동시에 설계의 결과라고 진행자들은 짚는다.
• 토크·텍타일 합성 데이터는 아직 못 만든다. 현재 물리 시뮬레이터 기술로는 접촉 신호를 만들어 내지 못해, 이 채널만은 실제 촬영 데이터에 의존한다.
• 물 대신 구슬을 썼다. 무게 변화로 힘 조절을 보여주는 양팔 데모가 액체처럼 보이지만 실제로는 구슬을 채운 것이라고 진행자가 직접 확인한다.

주요 숫자

가장 큰 의미는 이런 파운데이션 모델이 우리나라에서 나왔고 일단 오픈소스를 깠다.

Rhoda AI 는 스텔스에서 막 나온 로봇 회사다. VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)로는 범용성에 못 닿는다고 보고, 웹 비디오로 학습한 생성 모델이 다음 프레임을 예측하면 그 프레임을 역산해 관절 명령을 뽑는 DVA(Direct Video Action)를 택했다. 같은 편에 나오는 Sharpa 는 반대로 VLA 를 쓰되 어려운 구간만 떼어 냈고, 그 카드는 같은 섹션에 따로 있다.

핵심 포인트

• 학습량이 한쪽으로 심하게 쏠려 있다. 웹 비디오 300년치로 사전학습한 다음 로봇 데이터는 11시간만 얹었다고 주장한다. 진행자들은 300년이라는 단위 자체가 이상하다고 먼저 짚는다.
• 다음 프레임을 시간 순서대로 하나씩 예측한다. 보통의 비디오 생성은 정해진 길이의 영상을 양방향으로 만드는데, 이쪽은 지나간 프레임을 KV 캐시로 들고 가면서 LLM의 다음 토큰 예측처럼 다음 장면을 잇는다.
• 행동은 그 장면에서 거꾸로 계산해 나온다. 비디오 모델은 그림만 그릴 줄 알지 관절은 모른다. IDM(Inverse Dynamics Model, 역동역학 모델 — 지금 장면과 다음 장면 두 장을 받아 그 사이에 있었을 관절 움직임을 거꾸로 계산한다)이 그 차이를 관절 명령으로 옮기고, 두 모델이 번갈아 돌아간다. 지금 실행하는 행동은 앞서 예측해 둔 것이다.

• 야바위 데모가 시각 기억의 증거로 나온다. 컵 아래 물건을 감추고 섞는 작업은 지금 이미지만 보는 VLA로는 원리상 못 푼다. Rhoda 쪽은 지나간 프레임을 전부 들고 있어 어느 컵인지 기억한다.
• 말을 안 쓰고 영상이 프롬프트 구실을 한다. 사람이 몸으로 한 번 보여 주면 로봇이 따라 한다. LLM의 퓨샷 프롬프팅에서 예시가 하던 일을 영상이 대신하는 셈이다.
• 정량 지표를 하나도 안 냈다. 모델 파라미터도 초당 프레임 수도 밝히지 않았고 데모만 공개했다. 진행자 한 명은 "그냥 정량적인 거는 이게 다였어"라고 말한다.

주요 숫자

이게 정답이 아닐 수도 있죠. 근데 이게 됐다라는 걸 보여줬다는게 나는 굉장히 중요한 거 같아요.

Sharpa 는 로봇 손을 만들어 온 회사다. 엔비디아 GTC 부스에서 사과 깎기를 걸고, 사람이 조종하기 가장 어려운 손안 조작만 강화학습 정책으로 미리 구워 발 페달에 붙였다. 나머지는 모방학습 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)가 맡는 이층 구조이고, 진행자들은 이것을 위계적 구조로 읽는다.

핵심 포인트

• 손안 조작만 떼어 강화학습으로 풀었다. 적당한 힘으로 쥐는 데에는 정답 데이터가 없어 사람 시범으로 못 가르친다. 그래서 PPO(Proximal Policy Optimization, 잘한 행동 쪽으로 정책을 조금씩 미는 강화학습 방법)로 아이작 랩(엔비디아의 로봇 시뮬레이터. 로봇 수천 대를 동시에 돌린다)에서 정책 둘을 굽는다 — 안정적으로 쥐기와 축 기준 돌리기다.
• 조종 장비에 발 페달 세 개가 달렸다. 외골격과 햅틱 피드백에 더해 페달이 있고, 페달을 밟으면 그 강화학습 스킬이 켜진다. 게임에서 A키가 잡기, B키가 돌리기인 것과 같은 구조다.

• 페달 신호까지 학습 대상이다. 모방학습 단계에서 페달을 누른 시점을 함께 배워, 추론할 때 VLA의 출력 하나가 「사과 잡기 스킬 켜기」가 된다. 사람 발이 빠지는 자리가 여기다.
• 효과는 성공률보다 데이터 수율에서 크게 드러난다. 텔레오퍼레이션(사람이 장비를 걸치고 로봇을 직접 조종하는 것)만으로는 90회 중 31회만 학습에 쓸 수 있는데, 강화학습 정책을 켜면 89%가 쓸 만해진다. 사과 깎기 성공률 자체는 30%이고 π0 베이스라인은 0%다.
• 힘과 촉각은 뒤에서 주입한다. π0 백본이 촉각 입력을 받지 않아, 액션 토큰이 나온 뒤에 관절 토크와 손끝 촉각 센서를 받는 작은 MoE 트랜스포머를 따로 학습해 잔차로 얹는다.

• 사람의 반사 동작에 견준다. 숙달된 사람이 생각하지 않고 하는 동작을 미리 구워 둔 스킬로 읽고, 손가락을 여섯 개 일곱 개로 늘려 사람이 못 하는 스킬을 만들 수도 있다는 상상까지 나아간다.

주요 숫자

이게 정답이 아닐 수도 있죠. 근데 이게 됐다라는 걸 보여줬다는게 나는 굉장히 중요한 거 같아요.

엔비디아가 GTC 2026 키노트를 열흘 앞두고 로봇 논문 다섯 편을 한꺼번에 냈다. 월드모델(world model) DreamDojo, VLA(Vision-Language-Action) SONIC·EgoScale, 비디오 액션모델 DreamZero·Cosmos Policy로 갈린다.

핵심 포인트

• DreamDojo는 월드모델이다. 사람 영상 4만 시간으로 사전학습한 로봇 월드모델(world model, 행동을 넣었을 때 다음 장면이 어떻게 바뀌는지 보여주는 모델)이고, GR1·G1·AgiBot 로봇에 사후학습(post-training)했다.
• SONIC·EgoScale은 VLA다. 같은 사람 영상에서 손가락 관절값을 마노스 장갑으로 직접 뽑아 GR00T N1 계열 VLA를 만들었고, 사람 영상 데이터양에 대한 스케일링 법칙(scaling law)을 처음 보여줬다고 주장한다.
• DreamZero·Cosmos Policy는 비디오 액션모델이다. 각각 완(Wan, 140억 파라미터 비디오생성모델)과 코스모스(Cosmos Predict 2)를 파인튜닝해 비디오 생성 모델을 그대로 액션모델로 바꿨다.

• DreamDojo의 성공률은 부풀려 있다. 월드모델 안에서 잰 성공률이 실제 로봇보다 항상 높게 나오는데, 성공한 시연 위주로 학습했기 때문이라고 진행자들은 짚는다.
• 비디오 액션모델은 아직 느리다. DreamZero는 GB200 두 대를 쓰고도 초당 7프레임(7Hz)이라, VLA처럼 잡던 물체를 옮기면 바로 따라가는 반응은 못 한다.
• 다른 랩이 같은 결론에 닿았다. DreamZero(기어 랩)와 Cosmos Policy(다른 랩, 오픈VLA 저자가 참여)는 서로 다른 백본으로 비디오 모델이 액션모델이 될 수 있다는 같은 방향에 도달했다.
• Sharpa 손 가격도 나온다. 한 짝에 8천만 원, 두 짝이면 로봇 몸체보다 비싼 1억 6천만 원 안팎이라고 진행자들이 전한다.

주요 숫자

지금 이거는 밑밥이에요.

Figure AI Helix 02는 골반·다리까지 함께 쓰는 온몸 제어(whole-body control, 팔뿐 아니라 몸통·다리·균형까지 한 모델이 함께 다루는 제어)를 자율로 시연했다. 균형을 맡는 System 0을 새로 넣었는데 강화학습이 아니라 이미테이션 러닝(imitation learning, 사람 시연 데이터를 그대로 따라 배우는 방식)으로 학습했다는 점이 눈에 띈다. 같은 시기 등장한 소형 연구용 로봇 Fauna Sprout도 온몸 29자유도로 비슷한 방향을 보여준다.

핵심 포인트

• 온몸 제어는 팔만 쓰는 것과 다른 문제다. 상체를 고정해 쓰던 상태에서는 무게중심이 안 흔들려 균형을 잡을 일이 없었지만, 골반·다리까지 쓰면 몸을 움직일 때마다 무게중심이 옮겨가 매번 자세를 다시 잡아야 한다. Helix 01의 상체 전용 32자유도에 다리까지 더해지며 자유도 수도 함께 뛴다.

• 균형을 강화학습이 아니라 이미테이션 러닝으로 풀었다. 새로 넣은 System 0은 보통 RL이나 MPC(Model Predictive Control, 몇 스텝 앞을 예측해 최적 행동을 고르는 제어 방식)로 푸는 균형 제어를, 사람 시연 데이터를 따라 배우는 이미테이션 러닝으로 대체했다. 10M 파라미터로 System 1(80M)보다도 작고 1000Hz로 돈다.
• 판단과 반사를 계층으로 나눴다. System 2(7B, 과제를 계획하는 판단 계층)와 System 1(80M, 몸동작을 출력하는 반사 계층) 위에 System 0을 더해 3계층 구조가 됐다. 진행자들은 이를 사람의 척수반사(뇌의 의식적 판단 없이 척수 단계에서 즉시 나가는 반응)에 비유한다.
• 학습 데이터는 온몸 자동 균형 텔레오퍼레이션으로 모았다. 사람이 발을 움직이면 로봇도 따라가되, 사람과 로봇의 체형(embodiment, 몸의 구조와 무게 배분)이 달라 로봇이 스스로 균형을 잡아준다. 발 디딜 위치를 초록색으로 겹쳐 보여주는 시각화도 공개했다.
• 촉각 센서 없이는 손이 헛돈다. 병뚜껑 여는 과제에서 촉각 센서를 끄면 손이 제자리에서 헛돌며 실패한다. 손바닥 카메라도 함께 쓰였을 것이라는 추정이 있지만 확인되지 않았다.
• Fauna Sprout는 손 대신 온몸에 걸었다. 키 107cm·무게 22.7kg의 소형 연구용 로봇으로, 6자유도 손 대신 1자유도 집게를 달고 온몸 29자유도에 집중했다. 컴플라이언스(compliance, 힘을 받으면 반발하지 않고 유연하게 밀리는 성질)를 높여 사람과 부딪혀도 안전하게 설계됐다.
• 기술 스택은 새 것이 아니라 잘 엮은 조합이다. 아이작 랩(Isaac Lab, 엔비디아의 로봇 강화학습 시뮬레이션 툴킷)에서 자세별로 RL을 따로 학습시켜 상태 머신으로 잇고, 메타 퀘스트(Meta Quest)·유니티로 텔레오퍼레이션을 구현했다. 진행자들은 VLA 이전 세대 기술을 조합한 스택이라고 평가한다.
• 균형 모듈이 끝까지 남을지는 열린 질문이다. 최종 배포 모델에서도 RL 기반 균형 모듈이나 MPC가 계속 필요할지, 데이터가 쌓이며 신경망 안으로 흡수될지 진행자들도 결론을 내리지 않는다.

주요 숫자

지금 이 상황에서도 다 밸런스를 맞춘다.

Sunday Robotics(선데이 로보틱스)와 Generalist AI(제너럴리스트)는 로봇을 원격조작(텔레오퍼레이션)하지 않고 사람이 UMI 그리퍼(Universal Manipulation Interface, 사람이 손에 쥐고 움직이면 카메라가 그 동작을 로봇 조작 데이터로 바꿔주는 손잡이형 도구) 방식으로 모은 손동작 데이터를 쓴다. Physical Intelligence는 π*0.6에서도 실제 로봇을 사람이 원격조작하는 방식을 그대로 쓴다.

핵심 포인트

• Sunday Robotics. CEO 통자오(ACT·알로하 창시자)와 CTO 층치(UMI 그리퍼·디퓨전 폴리시 창시자)가 만든 로봇 '메모'는 3지 그리퍼에 그리퍼·모자 양쪽 카메라를 달았고, 제작 원가는 2만 달러라고 밝혔다.
• 로봇을 원격조작해 모은 데이터가 아니다. 메모의 학습 데이터는 로봇 원격조작이 아니라, 사람이 자체 제작 글로브를 끼고 물건을 잡거나 옮기는 동작을 카메라로 찍어 모은다. 진행자들이 영상에서 두 번 물었고 그때마다 원격조작이 아니라는 답이 돌아왔다.사람 팔 각도는 안 옮긴다. 손끝(엔드 이펙터) 좌표만 정확히 잡고, 로봇 팔 각도는 역기구학(Inverse Kinematics, 팔 끝 목표 위치에서 관절 각도를 거꾸로 계산하는 방법)으로 새로 푼다.
• Generalist AI도 같은 방식이다. 앤디 정이 공동창업했고, UMI식 손잡이 그리퍼와 QR 마커로 사람 손 동작을 모은다. 로봇 몸체는 자체 제작이 아니라 UR5 로봇 팔을 썼다.

• Generalist AI의 데이터는 에피소드 10밀리언, 270k시간이다. 비교로 나온 HuggingFace 갤럭시아 데이터셋(500시간)보다 자릿수가 크다.
• Physical Intelligence는 다르다. π*0.6은 여전히 실제 로봇을 사람이 원격조작해 데이터를 모으고, 지도학습(SFT) 베이스 모델 위에 강화학습으로 사람 개입 보정을 얹는다. 시연 과제는 커피 만들기·커피 도장 찍기·상자 접기다.
• 도메인 갭은 검증되지 않았다. 로봇은 이동할 때 몸체가 위아래로 흔들리지만 사람은 목·상체를 움직이는 쪽이라, 글로브로 찍은 화면 속 시점과 로봇이 실제로 볼 시점이 달라질 수 있다는 지적이 나온다.
• '스케일러블'이라는 말에는 진행자도 동의하지 않는다. 여전히 사람이 손으로 직접 데이터를 모아야 하므로, 원격조작보다 효율적인 수집법 정도로 좁혀 불러야 한다는 의견이다.

주요 숫자

근데 나는 저게 저렇게 많이 필요한가 싶기도 해.

보스턴 다이내믹스와 토요타 리서치 인스티튜트(TRI)가 함께 만든 LBM(Large Behavior Model, 관찰을 받아 다음 행동을 통째로 생성하는 대형 행동모델)이 아틀라스 로봇에 올라가, 다리와 상체를 하나의 모델이 함께 제어해 물체를 집는 데모를 처음 보였다. 기존 강점인 MPC(Model Predictive Control, 관절·토크·자기충돌 같은 제약 조건 안에서 다음 동작을 실시간으로 최적화해 푸는 제어 방식)는 사라지지 않고, 텔레오퍼레이션(Teleoperation, 사람이 실시간으로 로봇을 원격 조작하는 방식) 입력과 추론 결과가 넘어지지 않는 범위 안에 있도록 걸러주는 역할로 남는다.

핵심 포인트

• 다리를 상체와 함께 움직인 첫 사례라고 진행자들은 짚는다. 이전 휴머노이드 데모(Physical Intelligence·테슬라 등)는 두 다리를 고정한 채 매니퓰레이션(Manipulation, 물체 조작)만 했는데, 이번 아틀라스는 물체를 잡기 좋은 자세를 만들려고 발을 옮기는 로코모션(Locomotion, 보행 이동)까지 같은 모델로 한다.
• MPC가 텔레오퍼레이션의 안전망이다. 사람이 서 있는 자세를 그대로 로봇에 넘기면 무게중심이 달라 넘어지는데, MPC가 정한 제약 범위 안에서만 텔레오퍼레이션 입력이 반영돼 균형이 유지된다.

• 아키텍처는 TRI의 LBM 논문과 거의 같다고 진행자들은 본다. 관찰을 인코딩해 디퓨전 트랜스포머(Diffusion Transformer, 노이즈를 점차 제거해 가며 그럴듯한 출력을 만드는 구조)의 조건으로 넣고 액션을 뽑는 흐름이다.
• 팀은 보스턴 다이내믹스와 TRI가 섞여 있다. 블로그의 "데이터 오퍼레이션·LBM 팀" 표기에 두 회사 이니셜이 섞여 있고, TRI의 러스 테드레이크(Russ Tedrake)가 이름을 올렸다.
• Skild AI와는 다르다고 진행자들은 짚는다. 전에 다룬 Skild AI는 보행만 하는 원브레인(One-brain, 보행과 조작을 하나의 모델이 함께 담당한다는 개념)이었는데, 이번엔 보행과 매니퓰레이션이 실제로 한 모델 안에서 같이 나온다.
• 아틀라스 표면에는 긁힌 자국과 찌그러진 흔적이 많다. 훈련 중 넘어진 흔적으로, 강건한 하드웨어를 만드는 일 자체가 어렵다고 진행자들은 짚는다.
• WIRobotics의 ALLEX 손은 15자유도(DOF, Degree of Freedom)로 별개 데모다. 손가락을 깍지 끼고 스트레칭하는 동작을 보이는데, 룰베이스(rule-based, 정해진 규칙으로 움직이는 방식)로 제어된 것이라고 진행자들은 판단한다.
• 내년 대중화는 아니라고 본다. 다리가 필요 없는 좁은 자유도 과제(물류 핸들링, 볼트 조이기 등)가 1년 안에 먼저 자리 잡을 거라고 전망한다.

주요 숫자

뇌가 특이점이지.

Figure AI가 2025년 6월 7일 공개한 Helix 1시간 데모는 물류 창고에서 종이 택배 바코드를 스캐너 쪽으로 돌려 보내는 과제 하나에 상체만 써서, 실패(약 40분 지점에서 택배를 떨어뜨림)와 복구까지 그대로 담았다. 이 시점 Helix는 골반·다리를 쓰는 온몸 제어는 아직 다루지 않는다. 같은 편에서 테슬라 옵티머스가 단일 신경망 하나로 여러 과제를 프롬프트에 따라 수행한다고 주장한 데모와, 2026년 화성 무인 발사 계획도 함께 짚는다.

핵심 포인트

• 물류 한 과제, 상체만. 세 달 전(2025년 3월) 공개분은 느린 컨베이어에서 물건을 미는 정도였는데, 6월 7일 공개분은 디포머블(deformable, 힘을 주면 형태가 바뀌는) 종이 택배를 한 시간 동안 실패를 거의 없이 다뤘다. 골반·다리를 쓰는 온몸 제어는 이 시점에 아직 없다.
• 실패도 그대로 담겼다. 약 40분 지점에서 택배를 떨어뜨리고, 세로로 놓인 박스에서는 바코드를 못 찾는 장면이 나온다. 학습 데이터에 그 각도가 충분치 않았을 가능성으로 진행자들은 짚는다.

• 입력이 프레임·촉각·스테레오로 늘었다. 한 장짜리 이미지 대신 여러 프레임을 함께 보고, 촉각(force feedback) 입력도 더했다. 카메라도 단일에서 스테레오로 바뀌었다.
• 옵티머스는 프롬프트 하나로 여러 과제를 한다고 주장했다. 2025년 5월 21일 공개 영상에서 "버려라" 같은 프롬프트를 주면 그 지시대로 움직인다. 과제별 파인튜닝이 아니라 단일 신경망 하나라는 게 주장의 핵심이다.
• 사람 1인칭 영상으로 학습했다는 주장은 검증되지 않는다. 액션 라벨이 없는 사람 영상에서 관절값을 어떻게 뽑았는지 진행자들도 "정확히 잘 모르겠다"고 밝힌다.
• 2026년 화성 무인 발사의 첫 화물로 검토된다. 일론 머스크는 성공 확률을 "50:50"이라 밝히며, 옵티머스에게 빨래 개기·땅파기 같은 노동을 맡길 계획이라고 말했다.
• 드림젠은 영상 생성 모델로 액션을 역산한다. 엔비디아 드림젠은 월드 모델(world model, 물리 법칙을 내재적으로 학습해 다음 장면을 예측하는 영상 생성 모델)을 소량의 텔레오퍼레이션(teleoperation, 사람이 원격으로 로봇을 조종해 시범을 보이는 방식) 데이터로 파인튜닝한 뒤, IDM(Inverse Dynamics Model, 연속 관찰 사이 차이로 행동을 역산하는 모델)으로 관절값을 만들어 낸다.
• SmolVLA는 반대로 갔다. 이 영상 녹화 5일 전(6월 5일) 공개된 SmolVLA는 시뮬레이션도 영상 생성도 없이, 값싼 오픈소스 로봇을 커뮤니티가 각자 돌려 올린 데이터셋만으로 학습했다.

주요 숫자

화성 가야 되니까.

Figure AI가 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)인 Helix를 처음 공개했다. 그리퍼 위치만 다루던 이전 VLA와 달리 손가락 다섯 개·손목·머리·몸통까지 신경망 하나로 구동한 첫 사례이고, 판단을 맡는 System 2와 반사를 맡는 System 1로 나눈 구조를 이 편에서 처음 밝혔다.

핵심 포인트

• 자유도 35개. 이전 VLA는 그리퍼 위치(XYZ 3개, 피치·롤·요 3개, 그리퍼 여닫음 1개, 합쳐 7 자유도)만 다뤘는데, Helix는 손가락 다섯 개씩·손목·머리·몸통까지 35 자유도를 한 번에 낸다.
• 고전 제어 없이 신경망 하나로. 보스턴 다이내믹스 아틀라스처럼 최적화 문제를 푸는 고전 제어 대신, Helix는 신경망만으로 로봇을 구동한다. 레이턴시가 높아 못 쓴다고 여겨지던 방식이 실제로 돌아간 점에 진행자들은 놀란다.

• System 2는 판단, System 1은 반사. 7B급(진행자는 처음 8B로도 언급) VLM인 System 2가 이미지·명령·조인트 각도를 받아 7~9Hz로 판단하고, 결과를 레이턴트 벡터(latent vector, 신경망 내부의 압축된 표현 값)로 넘기면 System 1이 200Hz로 빠르게 액션을 낸다.
• 비동기라서 시간적 오프셋을 넣었다. System 2가 판단을 내릴 때쯤 로봇 상태가 이미 바뀌어 있을 수 있어, 두 신경망 사이에 시간 오프셋을 학습에 넣었다고 진행자들은 설명한다. 정확한 이유는 회사가 공개하지 않았다.
• 오픈AI와 결별하고 자체 모델로. 앞서 화제가 된 사과 집기 데모는 오픈AI의 스피치 API로 계획을 세운 것이었는데, 이번엔 로봇 하드웨어뿐 아니라 VLA 모델까지 Figure AI가 직접 만들었다.
• π0와는 정반대 지향. Physical Intelligence의 π0(파이제로)는 VLM 3B로 다양한 로봇 몸체에 두루 통하는 범용성을 노리는데, Helix는 VLM 7B급을 자기 하드웨어 하나에 최적화해 35 자유도까지 끌어올렸다.
• 학습 데이터는 텔레오퍼레이션 약 500시간. 텔레오퍼레이션(teleoperation, 사람이 로봇을 원격 조작해 움직임을 그대로 따라 하게 만드는 방식)으로 모은 데이터를, System 2의 VLM이 스스로 지시문을 추론해 자동 라벨링했을 것으로 진행자들은 추정한다.
• GPU 두 개로 분리 구동. 느린 System 2와 빠른 System 1을 GPU 두 개에 나눠 돌리는 것으로 진행자들은 추정하며, 이 설계를 근거로 데모만 있고 실체가 없다던 기존 의심을 접는다.

주요 숫자

사람처럼 그 사람의 상체를 되게 정밀하게 지금 구동시키고 있는게 일단 처음으로 되게 신기해요

General Intuition(게임 클립 플랫폼 Medal에서 스핀오프한 회사)은 월드모델(world model, 환경의 미래 상태를 예측해 생성하는 모델) MIRA를 공개하면서 "이건 단순히 훈련장이다, 본질은 에이전트다"라고 직접 밝혔다. ICML(International Conference on Machine Learning, 머신러닝 학회) 현장에서 5B 파라미터 모델이 B200 GPU 한 장으로 로켓 리그 4인 시점을 실시간 생성하는 데모를 진행자들이 직접 플레이했다.

핵심 포인트

• OpenAI의 5억 달러 인수 제안을 거절했다. 대신 게임 데이터를 들고 나와 창업했고, 지금 밸류에이션은 23억 달러로 거절한 제안액의 다섯 배를 넘겼다.
• MIRA는 한 모델이 4인 시점을 동시에 생성한다. 기존 월드모델이 1인칭 시점 하나만 만드는 것과 달리, 로켓 리그 네 플레이어의 프레임을 한 모델이 함께 만들고 서로의 움직임이 각 뷰에서 일관되게 보인다.

• 스펙은 5B 파라미터, B200 GPU 한 장, 20Hz, 컨텍스트 윈도우 4초다. 회사는 별도의 인퍼런스 최적화는 하지 않았다고 밝혔고, 학습 데이터 양은 "유튜브 스케일"이라고만 답했다.
• 회사가 밝힌 진짜 목표는 월드모델이 아니라 에이전트다. ICML 부스에서 아예 "본질은 에이전트"라고 선언했고, 게임 데이터로 학습한 뒤 현실 세계를 그다음 게임으로 취급하는 프레이밍을 쓴다.
• 지목한 에이전트는 매니퓰레이션(조작)이 아니라 내비게이션이다. "TV를 꺼"처럼 의미론적 추정이 들어간 엔드투엔드(end-to-end, 중간 단계를 나누지 않고 입력에서 출력까지 한 번에 처리하는 방식) 내비게이션을 지향한다고 답했다.
• Decart는 반대로 영상 자체를 실시간으로 판다. 밸류에이션 40억 달러, API 가격은 초당 0.02달러이며, 진행자들은 홍콩 야간 운전 데모에서 충돌 직후 장면이 깨지는 것을 직접 확인했다.
• 두 회사 모두 짧은 컨텍스트 윈도우의 한계를 공유한다. MIRA는 4초, Decart 데모는 3~4초라 충돌이나 지형 파괴처럼 오래 기억해야 하는 순간에 장면이 이상해진다.
• Decart CEO는 23세에 박사 학위를 받았다. 테크니언(이스라엘 공과대학)을 군복무 포함 4년 만에 졸업했고, Andrej Karpathy가 엔젤 투자자로 참여했다.

주요 숫자

저 월드 모델을 학습 장으로 쓰려고 하는 거죠. 이거는 단순히 훈련장이다.

엔비디아 GEAR팀의 짐 판(Jim Fan)과 스펜서 항(Spencer Huang)이 "VLM(Vision-Language Model) 기반 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)는 근본적으로 틀렸을 수 있다"며 비디오모델(영상을 그대로 생성하는 모델) 기반 로봇 정책을 미는데, 진행자들은 그 배경에 비디오모델이 GPU를 훨씬 더 먹는다는 엔비디아의 판매 유인이 있다고 짚는다. 1X Technologies는 이 접근으로 로봇 NEO를 실제 구동하는 데 Redwood AI World Model을 처음 투입했다.

핵심 포인트

• 짐 판의 셋째 교훈이 출발점이다. VLM은 언어·문서로 사전학습돼 물리 제어를 배운 적이 없고, 비전 인코더가 로봇 조작에 필요한 저수준 공간 디테일을 의도적으로 버린다는 것이다.
• 진행자들은 이 주장 뒤에 GPU 판매 동기가 있다고 짚는다. 비디오모델은 VLM보다 GPU를 훨씬 많이 요구하는 방향이라, 엔비디아가 이걸 띄울수록 GPU 수요가 커진다는 지적이다.
• 1X의 구조는 텍스트+프레임 → 비디오 생성 → IDM(Inverse Dynamics Model, 원하는 결과가 나오려면 어떤 행동이 필요한지 역으로 계산하는 모델)로 액션 추론 → 로봇 구동이다. 비디오 모델이 미래 영상을 상상하면 IDM이 그 영상처럼 움직일 액션을 뽑는다.

• 사전학습은 웹 비디오 → 사람 1인칭 영상 900시간 → NEO 데이터 70시간 순이다. 로봇 자체 데이터가 70시간뿐인데도 접시 닦기처럼 텔레오퍼레이션(원격조작)으로 모으기 어려운 과제까지 수행했다고 진행자들은 전한다.
• IDM은 400시간 분량으로 학습했고 의미 없는 무작위 동작 데이터도 섞였다. 텔레오퍼레이션 없이 모을 수 있어 상대적으로 값싼 데이터라고 진행자들은 본다.
• 속도가 가장 큰 약점이다. 140억 파라미터 비디오모델이 5초짜리 비디오를 만드는 데 11초, IDM 추론에 1초를 더해 총 12초가 걸린다. 12초 상상하고 5초 행동하는 방식이라 즉각 반응이 필요한 과제는 못 하고 클로즈드 루프(보자마자 바로 행동하는 방식)가 안 된다.
• 비슷한 접근이 여러 곳에서 동시에 나온다. mimic Robotics는 프리트레인된 비디오모델에 텔레오퍼레이션 데이터로 액션 디코더만 파인튜닝했고, 테슬라 옵티머스 전 리드 밀란 코박(Milan Kovac)도 사람 비디오 학습 단일 신경망 데모를 보인 뒤 보스턴 다이나믹스로 옮겼다.
• 잡는 지점이 사람처럼 나온다는 관찰도 있다. 냄비 몸통이 아니라 손잡이를 잡는 식인데, 사람 1인칭 영상 학습의 영향으로 사람과 비슷한 어포던스(물체가 암시하는 사용 방식)를 따르는 것으로 진행자들은 추정한다.

주요 숫자

비디오 모델이다라고 이제 광을 팔기 시작하는 거 같고 GPU를 더 팔기 위해서

월드모델(World Model, 특정 행동을 입력하면 그 행동이 일으킬 미래 관측을 예측하는 모델)은 소라·비오3 같은 비디오 생성모델과 다르다 — 세밀한 액션을 입력받아 그 액션에 대응하는 미래를 낸다는 점이 갈림점이다. 1X Technologies의 1X World Model(1XWM)은 로봇 정책(policy, 어떤 상황에서 어떤 행동을 할지 정하는 함수)이 낸 행동 시퀀스를 넣으면 미래 1인칭 영상과 그 시나리오의 성공확률(상태가치, state value)을 함께 내놓아, 실물 로봇을 돌리지 않고도 정책을 걸러낸다.

핵심 포인트

• 넥스트 프레임 예측이 왜 월드모델과 엮이는가. 언어모델이 다음 단어를 맞히다 보면 지식을 갖추게 됐듯, 비디오 모델도 다음 프레임을 잘 맞히려면 공이 바닥에 튀는 탄성 같은 세상의 물리를 알아야 한다고 진행자들이 짚는다.
• 그래도 구글은 자기네 비오3를 월드모델이라 안 부른다. 텍스트를 넣으면 그에 맞는 영상을 잘 만들지만, 세밀한 액션을 넣었을 때 그 액션에 대응하는 미래 관측을 내보내지는 않는다는 차이다.

• 구글 딥마인드 Genie 2는 방향키가 액션이다. WASD와 스페이스바(점프) 같은 게임 조작 입력을 액션으로 받아, 시작 프레임에서 그 조작에 따라 앞으로 가거나 뒤로 가는 미래 프레임을 만든다.
• 1XWM은 로봇 실물 평가의 병목을 정면으로 겨눈다. 로봇을 실제로 돌려 평가하면 하드웨어가 부서질 위험이 있고 물건 위치 같은 조건을 매번 통제할 수 없다. 1XWM은 정책이 낸 행동 시퀀스를 넣어 미래 영상과 성공확률을 동시에 뽑아, 이 평가를 모델 안에서 대신한다.
• 예측된 성공확률과 실제 성능의 상관관계가 높았다. 학습 스텝(체크포인트)별로도, 비전 인코더(이미지를 모델이 쓸 특징으로 바꾸는 부분) 크기를 L·B로 바꿔서도 1XWM 점수와 실제 로봇 결과가 같은 방향으로 움직였다고 진행자들이 확인한다.
• 성공한 궤적만 넣으면 안 된다. 학습 데이터에 텔레오퍼레이션(사람이 로봇을 직접 조종해 모은 궤적)과 자율 롤아웃 모두에서 성공·실패 사례를 함께 넣어야, 모델이 성공 쪽으로 치우치지 않는다고 짚는다.
• 데이터 양이 적으면 물리 상식이 깨진다. NEO 로봇처럼 데이터가 적은 몸체는 서랍을 강체로 착각해 부서지는 것처럼 생성하지만, 데이터가 많은 몸체는 에어프라이어 통 모양을 미리 알고 열리는 장면을 그린다.
• 한계는 거울 자기 인식과 물리 법칙 위반이다. 거울 앞에서 손을 흔드는 액션을 줘도 거울 속 로봇은 움직이지 않고, 접시가 공중에 뜨는 등 물체가 물리 법칙을 어기는 장면도 나온다.

주요 숫자

월드 모델이 있으면 테스트를 돌리고 나서 좋은 것만 골라서 실제 한번 테스트 하면 되니까.

RealWorld 하드웨어 엔지니어 맥스가 열 종 넘는 로봇 손(덱스터러스 핸드)을 직접 다뤄 본 경험으로 좋은 손의 기준을 자유도(DOF, Degree of Freedom)·핑거팁 포스(손가락 끝 악력)·센싱 세 방식로 정리하고, 우지(Wuji)·Sharpa(샤파)·테솔로(Tesollo)·알렉스(Alex) 네 손을 실측치로 견준다. Sharpa가 로봇 손을 만드는 회사라는 사실, 우지의 내구성 결함, 텐던 구동과 다이렉트 드라이브의 갈림까지 다룬다.

핵심 포인트

• 자유도가 힘·크기보다 더 중요하다. 사람 손은 22자유도인데, 로봇 손은 최소 12~13자유도는 나와야 하고 권장은 15~20자유도라고 본다. 6자유도 핸드는 MCP(손가락 뿌리 관절)를 굽히면 나머지 관절이 다 같이 말려 커플링되어 바닥의 얇은 물체를 못 집는다.
• 핑거팁 포스는 사람의 절반도 안 된다. 사람 손은 30~50N인데 로봇 손은 예전 10~15N에서 요즘 20N 안팎으로 올라왔다. 병뚜껑을 따려면 15N은 나와야 하고, 엄지는 다른 손가락의 1.5~2배 힘이 필요한데 이렇게 설계한 회사는 많지 않다.
• 역구동성과 힘 투명성이 갈리는 자리다. 역구동성(외부 힘에 기구가 거꾸로 밀리는 정도)과 힘 투명성(그 힘을 액추에이터 전류로 알아채는 정도)은 감속비를 높여 힘을 세게 만들수록 떨어진다. FT(힘·토크) 센서는 개당 100만~200만 원이라 손가락엔 못 쓰고 대신 전류 측정에 기댄다.

• 우지는 가볍지만 잘 부서진다. 무게 600g에 핑거팁 포스 15N. 다만 역구동이 안 돼 잘못 다루면 부서진다. 어떤 논문에서 연속 구동 40분 만에 과열 정지한 핸드가 우지였다는 게 이 편에서 확인된다. 최근 전류(이펏, effort) 데이터를 열어 소프트웨어로 역구동을 흉내 내는 어드미턴스 제어를 붙였다.
• Sharpa는 사람 엄지에 가장 가깝지만 비싸다. 무게 1.2kg(노트북보다 무거움), 손 길이 200mm, 엄지 5자유도, 텍타일 픽셀 약 530개, 핑거팁 포스 20N에 역구동도 된다. 가격은 손 하나에 5만 달러(약 7,500만 원)로 로봇 상체보다 비쌀 때도 있다.
• 테솔로는 한국산 저가형이다. 20·15자유도 두 모델, 무게 870g, 가격 7,500달러(약 천만 원)로 Sharpa의 6분의 1가량인데도 매니퓰레이션 과제는 웬만큼 다 해낸다. 텍타일은 기본 없고 추가 비용을 내야 붙는다.
• 알렉스는 텐던 구동으로 힘·역구동성을 다 잡았다. 전완부에 큰 액추에이터를 두는 텐던 (전완부에서 줄로 당겨 손가락을 움직이는 구동 방식) 구조라 핑거팁 포스 40N, 100g 무게 변화 감지, 최소 파지 지름 4mm를 낸다. RealWorld에만 독점 공급된다.
• 저자유도 핸드는 도태된다는 게 맥스의 전망이다. 6자유도 핸드로 할 수 있는 건 픽앤 플레이스뿐이고 그건 투지 그리퍼로도 충분하다. 인스파이어는 이미 12~13자유도 G2를, X핸드도 약 20자유도 신형을 냈다.

주요 숫자

살아남지 못할 겁니다.

sudoremove 진행자 JB·JC가 CES 2026 로봇 부스를 돌아본 소감을 정리한다. 보스턴 다이나믹스 신형 아틀라스는 손가락을 3자유도에서 4자유도로 바꾸고 구글 딥마인드 제미나이 로보틱스를 판단 모델로 쓰기로 했다. Sharpa는 촉각 기반 카드 딜링 데모로 부스 화제를 모았고 CraftNet이라는 위계형 VTLA(Vision-Tactile-Language-Action, 시각·촉각·언어·행동 통합 모델)와 손 하나 5만 달러라는 가격을 함께 공개했다.

핵심 포인트

• 아틀라스 손가락이 세 개에서 네 개로 늘었다. 기존 3자유도 회전 그립 대신 4자유도로 바뀌었지만, 이번 영상에는 네 손가락으로 실제 과제를 하는 장면 없이 서 있는 모습만 나온다.
• 구글 딥마인드와 파트너십을 맺었다. 제미나이 로보틱스는 인바디먼트 리즈닝(Embodied Reasoning, 로봇 몸 기준 상황을 판단하는 모델)이 바운딩박스·궤적을 내고, 액션 디코더(비전-언어-액션 모델)가 실행하고, 홀바디 컨트롤(균형을 잡는 제어)은 아틀라스 쪽이 따로 맡는 3단 구조다.

• 부스에서 제미나이 로보틱스 데모를 직접 써 봤다. 셀카를 찍어 달라고 하자 로봇이 아이폰을 붙잡아 집었고, 다양한 물체를 두루 집는 모습이 인상 깊었다고 전한다.
• LG는 클로이 D보다 액추에이터 브랜드가 더 눈에 띄었다. 자체 브랜드 AXIUM은 로보티즈가 다이나믹셀로 자기 휴머노이드를 파는 것과 같은 구조라고 짚는다.
• 카드 딜링 영상이 배속 처리 없이 1배속이었다. Sharpa의 라스베가스 부스 데모를 보고 놀라던 진행자들이 재생 속도를 확인하니 실제 속도 그대로였다.
• 텔레오퍼레이션이 아니라 이미테이션 러닝이었다. 화면에 뜬 표시로 사람이 실시간 조종한 텔레오퍼레이션(사람이 장비를 걸치고 로봇을 직접 조종하는 방식)이 아님을 확인한다.
• CraftNet은 판단·연속동작·정밀보정 3단이다. System 2(약 1Hz 장기 오케스트레이션)가 판단하고, System 1(접촉 전 연속 동작, 촉각 없음)이 실행하고, 접촉이 시작되면 System 0(촉각 기반 정밀 손동작)으로 넘어간다.
• Sharpa 손 하나가 5만 달러다. 양손이면 10만 달러라고 어림잡아 계산하는데, 텔레오퍼레이션 장비 자체의 가격은 공개되지 않았다.

주요 숫자

촉각이 얼마나 기여했는지를 우리가 사실 잘 모르니까.

Figure AI가 손바닥에 카메라를, 발에 유도 충전(전선 접촉 없이 근접만으로 충전하는 방식)을 넣은 새 몸체 Figure 03을 공개하자, 1X Technologies는 유튜버 IShowSpeed가 NEO를 원격조작(텔레오퍼레이션)하는 라이브로 맞선다. 진행자들은 판단(상황을 읽고 다음 동작을 정하는 몫)은 클라우드의 큰 VLM에, 반사(손가락을 실제로 움직이는 동작)는 로컬의 작은 액션 모델에 맡기는 이원 구조를 읽어낸 뒤, 결국 병뚜껑 하나를 따려면 벌리고 오므리는 동작과 비트는 동작을 동시에 해내야 하는데 그런 손은 드물다고 짚는다.

핵심 포인트

• 손바닥 카메라로 가림을 피했다. 유니트리(Unitree)식 손목 카메라는 물건을 쥘 때 시야가 가려지는데, Figure 03은 카메라를 손바닥 안에 내장해 이 문제를 피했다.
• 1X는 라이브 원격조작으로 맞섰다. 유튜버 IShowSpeed가 1X 본사를 방문해 NEO를 조작하는 스트림에서 로봇이 빙글빙글 돌고 백덤블링까지 했다.

• 판단은 클라우드, 반사는 로컬이다. VLM(Vision-Language Model, 시각과 언어를 함께 처리하는 모델)이 맡는 판단과 로컬 액션 모델이 맡는 반사를 나눈 이원 구조가 흐름이라고 진행자들은 짚는다.
• 병뚜껑이 진짜 장벽이다. RealWorld 알렉스(Alex) 손의 병뚜껑 시연은 손가락을 벌리고 오므리는 업덕션·어덕션(abduction·adduction)과 비트는 동작을 동시에 요구하는데, 이 조합이 되는 손은 지금 드물다.
• 보스턴 다이내믹스는 신뢰도·값·속도 때문에 3지를 고수한다. 손가락을 늘리면 복잡도가 늘어 신뢰도가 떨어지고 값이 오르고 개발이 느려진다는 게 회사가 공개한 이유다.
• 손이 로봇보다 비쌀 수 있다. 덱스트러스(정교한 조작이 가능한)한 손 값이 몸체보다 비싼 경우가 실제로 많다고 진행자들은 짚는다.
• 사람 손 데이터를 그대로 못 옮긴다. 손가락 수·구조가 다르면 리타게팅(사람 손 움직임을 로봇 손 구조에 맞게 다시 매핑하는 과정)이 필요해 데이터를 모으는 일 자체가 병목이 된다.
• 3지냐 5지냐, 결론은 아직 없다. 3지가 먼저 자리 잡을 거라는 전망과 결국 5지로 갈 거라는 전망이 같은 편 안에서 갈린다.

주요 숫자

손이 로봇보다 비싼 경우가 진짜 많아요.

엔비디아가 GTC 타이베이에서 유니트리 H2 Plus·Sharpa 손·Jetson Thor(엔비디아의 로봇 온보드 컴퓨팅 칩)를 묶은 레퍼런스 휴머노이드를 약 20만 달러에 내놨다. 이 생태계 위에 위로보틱스(WIRobotics)·레인보우로보틱스(Rainbow Robotics)·홀리데이로보틱스(Holiday Robotics)·디든로보틱스(DIDEN Robotics) 넷이 손·상반신·하드웨어·풀스택 가운데 저마다 다른 조각을 대며 올라탔다. 레인보우로보틱스의 세탁기 호스 데모는 하드웨어·손·모델이 세 조직에서 나온 조합이었다.

핵심 포인트

• 레퍼런스 휴머노이드는 세 조각을 붙인 조합이다. 유니트리 H2 Plus(중국 휴머노이드 폼팩터)와 Sharpa 손, 엔비디아 Jetson Thor를 묶은 것으로, 엔비디아가 직접 만드는 로봇은 아니고 로봇 한 대 값은 약 20만 달러(약 3억 원)다.
• 위로보틱스는 손과 상반신을 댄다. 알렉스(ALLEX)라는 휴머노이드 상반신을 만들며, 엔비디아 하이라이트 영상에서 사실상 주인공으로 나오지만 이 시점에 자율주행 이동 베이스(AMR, Autonomous Mobile Robot)는 아직 없다.

• 레인보우로보틱스는 하드웨어를 대고, 손은 남의 것을 낀다. 삼성전자 자회사로 RBY1 하드웨어를 대지만, 손은 자체 제품이 아닌 X핸드를 끼운 조합으로 엔비디아 영상에 나온다.
• 세탁기 호스 데모는 세 조직의 합이다. 하드웨어(레인보우로보틱스)·손(X핸드)·모델(삼성리서치의 경량화 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델) 논문 Shallow-π)이 각각 다른 조직에서 나와 한 데모로 합쳐졌다고 진행자들은 추정한다.
• 홀리데이로보틱스는 손부터 시뮬레이터까지 직접 만든다. 창업자가 이미 한 번 엑시트를 마치고 다시 창업했고, 손은 모터를 손가락에 넣지 않고 호스로 압력을 넣어 움직이는 구조라 20자유도에 무게 500g이다.
• 디든로보틱스는 산업용 용접 로봇에서 휴머노이드로 넓혔다. 조선소 용접에 쓰는 다섯 발 로봇을 만들어 온 회사로, 창업자들은 카이스트 DRCD랩(동역학 로봇 제어·설계 연구실) 스핀오프다.
• GTC 등장과 양산 실적은 다른 축이다. 진행자들이 마무리에서 실제 사업화에 가장 가까운 곳으로 꼽은 근거는 GTC 노출이 아니라 레인보우로보틱스가 이미 상장돼 있고 자본이 많고 양산에 가깝다는 점이었다.
• 삼성 로봇 AI 인력이 현대차로 옮겨간다. 이 데모를 이끈 삼성 부사장이 반년 만에 현대차로 이동했고, 논문 저자 중 한 명도 삼성리서치에서 현대차 자회사 포티투닷(42dot)으로 옮겼다.

주요 숫자

사람이 더 싸다.

이 영상은 보스턴 다이내믹스·Figure 03 데모 다음에 로보스트레티지(RoboStrategy, 티커 BOT)라는 상장사를 개인이 Figure AI에 닿는 길로 소개한다. 그런데 포트폴리오 구성 비율도, 상장 2주 만의 반토막도, Figure AI 자체의 정보 공개 수준도 진행자들 스스로 확신하지 못하는 채로 남는다. 진행자들은 영상에서 명시적으로 매수 추천이 아니라고 못박는다.

핵심 포인트

• 로보스트레티지(RoboStrategy, 티커 BOT)는 로봇 회사에 투자하는 포트폴리오 상장사다. 진행자들은 이를 비트코인을 직접 안 사고 마이크로스트라티지(MicroStrategy) 주식을 사는 것에 비유한다 — Figure AI를 직접 못 사니 BOT을 산다는 논리다.
• 포트폴리오 구성은 Figure AI·Apptronik·DYNA Robotics 셋이다. 진행자들은 Figure AI 비중이 크다고 "알고 있다"고만 말할 뿐 정확한 비율은 밝히지 못한다.

• Apptronik이 구글과 정확히 어떤 관계인지조차 진행자들 사이에서 불확실했다. 구글 제미나이 로보틱스(Gemini Robotics) 발표 때 등장했다는 것만 확인하고 정확한 관계는 짚지 않는다.
• 상장 2주 만에 주가가 37달러에서 20달러로 떨어졌다. 진행자들은 "아직 가치를 평가할 단계가 아니다"라고 말한다.
• Figure AI는 하드웨어도 안 팔고 모델(Helix)도 공개하지 않는다. 진행자들은 "데모 말고는 판단할 수 있는 게 없다"고 못박고, 명시적으로 "매수 추천은 아닙니다"라고 밝힌다.
• Figure AI 밸류는 진행자 어림으로 90조 원 안팎이다. 엔비디아·애플급(1000조 원대)의 10분의 1 수준이라는 비교를 대며 무리한 값일 수 있다고 평한다.
• 같은 영상에서 다룬 Figure 03의 200시간 무중단 데모 자체에도 개입 흔적이 있다. 로봇이 갑자기 머리를 긁거나 물건을 던지는 장면을 두고 진행자들은 텔레오퍼레이션(teleoperation, 사람이 로봇을 직접 원격 조종하는 방식) 개입 의혹을 스스로 제기한다.
• 보스턴 다이내믹스와 현대차의 결합은 부품 공급망 이야기로 이어진다. 액추에이터·배터리 대부분을 중국에 의존하는 미국 휴머노이드와 달리, 현대모비스가 부품을 대는 현대는 공급망 이점이 있다고 짚는다.

주요 숫자

매수 추천은 아닙니다.

sudoremove 진행자 JB·JC가 Figure AI Helix의 리모컨·수건 데모를 보고 "사람 느낌"이 어디서 나오는지 짚은 뒤, 오픈AI GPT 5.4를 코덱스로 열흘 써 본 후기와 하이브리드 아키텍처(Transformer와 게이트드 델타넷(Gated Delta Net, 과거 정보는 압축해 요약만 남기고 최근 정보만 자세히 기억하는 순환 신경망 구조)을 섞는 언어모델 설계)가 번지는 흐름을 짧게 훑는다.

핵심 포인트

• 리모컨을 쥔 손은 사람과 달랐다. Helix가 텔레오퍼레이션(teleoperation, 사람이 실시간으로 로봇을 직접 조종하는 방식) 없이 TV 리모컨을 쥐고 켰지만, 손 모양 자체는 사람과 다르다고 진행자들이 지적한다. 손가락을 정교하게 쓰는 동작은 여전히 쉽지 않아 보인다.
• 자유도는 22가 아니라 6으로 추정된다. Figure AI가 홍보한 손 자유도(degrees of freedom, 관절이 독립적으로 움직일 수 있는 축의 수)는 22이지만, 리모컨을 쥐는 이번 동작에는 6자유도 정도만 쓰였을 것이라고 진행자가 추측한다.

• 자유도가 높다고 다 잘 되는 건 아니다. 같은 데모에서 수건을 겨드랑이에 끼워 나르는 임기응변이 따로 화제가 됐다. 손가락 자유도와 무관하게 몸 전체를 쓴 동작이다.
• "사람 느낌"은 모델이 좋아진 결과다. 하드웨어는 그대로인데 모델이 개선되면서 동작이 훨씬 자연스러워졌다는 게 진행자들의 해석이다 — 매끄러움의 출처를 몸이 아니라 판단·제어 모델 쪽에 둔다.
• "데모 크리에이티브 팀이 있다"는 평. Figure AI가 보여줄 장면을 고르는 데 능하다는 지적과 함께 데모 구성 자체를 잘하는 회사라는 평가가 나온다.
• GPT 5.4가 영상 싱크 오류를 찾는 데 도움을 줬다. 라이브 방송 소스와 촬영 소스가 계속 어긋나던 문제가 인터넷이 잠깐 끊기며 영상 일부가 통째로 날아간 탓이었는데, 코덱스 경유 GPT 5.4가 이를 찾는 데 도움을 줬다고 전한다.
• 말투는 반박이 잦아 피곤하다. GPT 5.4가 "이건 아닌데요" 식으로 자주 태클을 걸어 읽는 게 오히려 피곤하다는 게 진행자의 체감이다.
• 하이브리드 아키텍처가 AI2의 OLMo까지 번졌다. 순수 트랜스포머 대신 게이트드 델타넷을 섞는 구조가 늘고 있는데, 딥시크 V4가 이 흐름을 따를지는 진행자도 확신하지 못한다.

주요 숫자

요새 그 하드웨어는 그대로 모델이 좋으니까 훨씬 더 자연스럽게 애들이 동작을 하더라고.

진행자 둘이 신년 잡담으로 열네 개 예측을 즉흥 찬반으로 매긴다. 모라벡의 역설(Moravec's Paradox, 인간에게 쉬운 지각·운동 과제가 AI에게는 어렵다는 관찰) 해결과 Mamba(어텐션 없이 시퀀스를 처리하는 대안 아키텍처)의 장악에는 둘 다 부정으로 합의했지만, Transformer 대체 구조·RAG 소멸·VLA 산업표준화·추론 칩 시장은 정면으로 갈렸다.

핵심 포인트

• 모라벡의 역설은 1년 안에는 절대 안 된다. 로코 챌린지(원격조종 로봇 손 과제)를 직접 해 본 진행자가 손 텔레오퍼레이션과 촉각 시뮬레이션의 난도를 근거로 들었고, 둘 다 동의했다.
• VLA 엔드투엔드의 산업표준화는 2028년(3년 뒤) 가능할 듯이라 봤다. 한 진행자만 시한을 냈고, 다른 진행자는 「산업 표준」이라는 말 자체가 애매하며 태스크마다 다를 것이라 봤다.

• Mamba 계열의 장악과 스케일링 법칙(scaling law, 데이터·모델·연산을 늘릴 때 성능이 어떻게 좋아지는지의 규칙성) 임계 확인에는 둘 다 「안 될 것」이라 합의했다.
• Transformer를 능가하는 새 구조가 SOTA를 차지하느냐는 갈렸다. MoE(Mixture of Experts, 여러 전문가 서브네트워크 중 일부만 골라 쓰는 구조)가 트랜스포머의 변형인지 별개 백본인지 정의가 갈려 합의 없이 끝났다.
• 무한 컨텍스트 윈도우로 RAG(Retrieval-Augmented Generation, 외부 데이터베이스를 검색해 답변에 넣는 방식)가 사라지느냐도 갈렸다. 컨티뉴얼 러닝(continual learning, 모델이 서비스 중에도 계속 학습해 나가는 방식)과 결합한 메모리 모듈 등장을 점친 쪽과, 코드베이스·영상처럼 컨텍스트가 늘 모자란 대상이 남는다고 본 쪽으로 나뉘었다.
• 추론 시장에서 Groq·세레브라스 같은 비GPU 아키텍처(NPU·LPU)가 이기느냐는 정면 대립이었다. 한쪽은 엔비디아가 서버향 LM 서빙 가성비에서 거의 독식한다고 봤고, 다른 쪽은 스마트폰 CNN이 이미 NPU로 넘어간 선례를 들어 비GPU가 무조건 이긴다고 봤다.
• 소프트웨어 엔지니어의 코드 구현·디버깅 90% 이상을 AI가 전담하는 상황은 이미 벌어졌다는 데 동의했다. 설계 리뷰까지 코딩 에이전트에게 맡긴 개인 사례가 근거였다.
• 코딩 에이전트가 VLA 대신 로봇 제어 코드를 직접 짜는 대안도 논의됐지만 스스로 기각했다. 빨래 개기처럼 물체가 예측과 다르게 움직이는 폐쇄루프 태스크에는 이 방식이 안 통한다는 이유였다.

주요 숫자

1년 안에는 안 되고 28년 안에는 가능할 듯.

K-Scale Labs는 케이봇(K-Bot) 예약판매를 시리즈 투자의 지렛대로 썼지만 VC가 고투마켓(go-to-market, 제품을 시장에 내놓아 파는 방식)을 문제 삼아 투자를 접었고, 예약 취소·환불 메일을 보내고 무너졌다. 1X Technologies는 가정용 로봇 NEO를 2만 달러에 예약판매하는데, 진행자들은 이 값을 텔레오퍼레이션(teleoperation, 사람이 로봇을 원격으로 직접 조종해 궤적을 모으는 방식) 데이터를 모으기 위한 손해 감수형 가격으로 본다.

핵심 포인트

• 케이스케일은 예약을 받고도 투자를 못 받았다. VC가 문제 삼은 건 예약 대수가 아니라 고투마켓이었다 — 어디와 협업해 무엇을 파는지 보여준 사례가 없었다.
• 결국 예약을 취소했다. 케이봇 구매자들에게 판매 취소·환불 메일을 보냈고, 이 메일이 X(옛 트위터)에서 널리 공유됐다.

• 지봇을 먼저 팔았어야 했다는 후회가 남았다. 창업자는 「진지한 휴머노이드 회사」로 보이고 싶어 더 싸고 규제 문턱 낮은 지봇(Z-Bot)을 뒤로 미뤘다고 밝혔다.
• 1X의 NEO 예약가 2만 달러는 부품값도 안 나온다. 비슷한 완성도의 경쟁 로봇이 3배 가까운 값(1억 원에 가까운 수준)에 팔리는데, NEO는 그 3분의 1도 안 된다.
• 가격의 목적은 데이터 수집으로 읽힌다. 테슬라가 차량 판매로 자율주행 데이터를 모은 방식처럼, 1X도 손해를 감수하고 로봇을 풀어 텔레오퍼레이션 데이터를 모으려 한다는 것이다.
• 1X는 10년 가까이 버텼지만 자금 출처는 불명확하다. 이번 예약판매가 사실상 첫 상업 판매 시험이고, 케이스케일 사례를 본 뒤로 진행자들도 배송 여부를 의문으로 남긴다.
• 실제로 양산해 파는 곳은 유니트리뿐이다. 한국 수입사 위고로보틱스가 G1으로 팝콘 서빙 로봇을 만들어 판 사례가, 구매자가 플랫폼 위에 부가가치를 얹은 사실상 유일한 예다.
• 테슬라만 투자 없이도 버틴다. 차량 판매로 나는 현금흐름 덕분이고, 손은 여전히 텐던(tendon, 힘줄처럼 줄로 당겨 움직이는 구동 방식) 방식을 최소 12줄 안팎으로 손수 조립하는 단계다.

주요 숫자

로봇 하드웨어 회사가 사실 양산을 잘해야 되는 것도 중요하고 자금 조달을 되게 잘해야 되거든요.

CORL(로봇 학습 학회)·Humanoids 2025가 서울에서 열리기 직전, 국내외 로봇 근황을 모델 만드는 쪽과 하드웨어 대는 쪽으로 나눠 정리한 편이다. 로보티즈는 손을 공개하고 공장도 짓는데 손에 들어가는 소형 액추에이터는 주문이 밀려 있고, Figure AI는 부동산 자산운용사 Brookfield와 손잡고 현장 데이터를 모은다. 손가락 개수와 촉각 데이터를 모델에 넣는 법은 이 시점까지도 답이 없다.

핵심 포인트

• 로보티즈 손 공개. 로보티즈 표윤석 이사가 자체 개발한 로봇 손을 공개했고, 회사는 유상증자로 공장도 짓는다.
• 소형 액추에이터가 밀린다. 손에 들어가는 작은 액추에이터는 주문이 밀렸지만 큰 액추에이터는 재고가 남아 있다. 액추에이터가 병목이라는 이야기가 돌지만, 진행자들도 확인된 사실은 아니라고 선을 긋는다.

• Figure AI, 부동산으로 데이터를 모은다. Figure AI는 Brookfield와 협업해 주거단지·오피스·물류센터 같은 현장에 로봇을 배치하고 사전학습(pretraining, 배포 전 미리 대량 데이터로 학습하는 단계) 데이터셋을 모은다.
• Physical Intelligence는 보행을 미룬다. 기업가치 약 8조 원으로 언급된 Physical Intelligence는 보행이 시뮬레이션만으로도 되는 영역이라 데이터를 덜 들이는 쪽이라고 진행자들은 추정한다.
• RealWorld의 저지연 데모. RealWorld가 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델) 기반 데모를 공개했는데, 텔레오퍼레이션(teleoperation, 사람이 로봇을 원격으로 직접 조종하는 방식)인지 모델 주도인지는 겉보기로 구분하기 어렵다.
• KAIST 문워킹이 화제. KAIST Humanoid v0.5가 시각 센서 없이 걷다가 문워킹(뒷걸음질 스텝)까지 해내는 영상이 퍼졌지만, 그 보상을 어떻게 설계했는지는 진행자들도 모른다.
• 손가락 개수 미정. 3개·5개·6개 중 무엇이 맞는 폼팩터인지 아직 정해지지 않았다.
• 촉각 데이터가 없다. 텍타일(tactile, 촉각) 센서는 눌리는 위치·방향까지 잡아내지만, 인터넷 스케일로 모인 촉각 데이터셋은 아직 없다.

주요 숫자

진짜 사람 손이 미쳤어요.

로보시지가 한성대학교에서 연 국내 최초 바이매뉴얼(양팔) 르로봇(LeRobot, HuggingFace의 오픈소스 로보틱스 라이브러리) 해커톤 현장기다. SO-ARM 키트를 조립해 3색 공 분류·캐러멜 포장·행주 접기 세 과제 데이터를 모아 학습시킨 결과, 05년생 학부 1·2학년 팀이 데이터 품질만으로 우승했지만 행주 접기는 어느 팀도 끝내지 못했다.

핵심 포인트

• 과제 셋은 데이터 설계 차이를 보이려 골랐다. 트라이컬러 클래시파이어(공 세 색 분류), 프리시전 패킹(주머니에 캐러멜 넣고 조이기), 파인폴딩(행주 두 번 접기)으로 정형·비정형 작업을 섞었다.
• SO-ARM 키트 조립이 첫 관문이었다. 핀으로 결합하는 부품 치수가 안 맞아 망치로 두들겨 끼워야 했고, 대회 상품(1~3등)조차 조립 난도를 낮춘 개선 키트로 준비됐다.

• 우승팀 「햇병아리」는 05년생, 학부 1·2학년이었다. 비결로 무거운 모델이 아니라 「데이터를 무식하더라도 꼼꼼하고 튼튼하게 쌓은 것」을 꼽았다.
• 파인폴딩은 완주한 팀이 없었다. 캐러멜 포장도 주머니에 넣는 데까진 대부분 성공했지만 마지막 포장까지 완벽히 마친 팀은 드물었다.
• 카메라 셋업은 8개월 전과 달리 표준화됐다. 거의 모든 팀이 탑뷰 1대 + 리스트캠(손목 카메라) 2대, 3캠 구성을 그대로 썼다.
• 모델은 대부분 ACT(Action Chunking Transformer, 행동을 뭉텅이로 예측하는 모방학습 모델)였다. 8개월 사이 오픈소스 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)가 여럿 나왔는데도 참가자 대다수가 여전히 구형 모델을 썼다.

주요 숫자

이렇게 이제 막 세상에 나온 것들을 다들 써보고 있다는게 참 미래가 밝구나 이런 생각이 들었고요.

sudoremove 진행자가 CoRL(Conference on Robot Learning, 로봇러닝 학회) 2025 전시부스를 돌며 여러 회사의 로봇을 직접 조작해 본 현장기다. RL(Reinforcement Learning, 강화학습) 기반 보행·조작 데모는 이미 완성도가 높았던 반면 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델) 데모는 픽앤플레이스 수준에 머물렀고, 데이터 수집은 VR·안경·장갑·카메라그리퍼 네 가지로 정리됐다.

핵심 포인트

• RL과 VLA의 격차가 뚜렷했다. 유니트리·레인보우로보틱스의 강화학습 기반 보행 로봇은 이미 실물로 보기에도 압도적이었던 반면, VLA 데모는 「기껏해야 픽앤플레이스 정도」에 머물렀다고 진행자는 요약한다.
• Gemini Robotics 1.5는 두 로봇을 동시에 부렸다. 셀카를 찍으라는 지시에 먼저 폰을 들겠다고 말로 작업을 분해했고, ALOHA(저비용 양팔 원격조작 로봇 플랫폼)와 Franka Robotics 로봇을 동시에 움직여 크로스 임바디먼트(하나의 모델이 다른 몸체에도 그대로 통하는 성질)를 보였다.

• 같은 과제라도 파인튜닝 여부가 결과를 정했다. 천 접기 데모에서 파인튜닝된 모델은 빠르고 정확했지만, 파인튜닝하지 않은 Franka Robotics + Gemini Robotics 조합은 느리고 서툴렀다.
• 로보티즈는 자체 로봇 손에 엔비디아 GR00T를 얹었다. 대상이 사라지면 손을 빼는 반응까지 보였고, 메타 퀘스트로 원격조작됐다.
• 데이터 수집은 네 가지로 정리됐다. VR 컨트롤러(메타 퀘스트), 에고센트릭(1인칭 시점) 안경, 장갑형 엑소스켈레톤, 카메라를 손에 다는 UMI(Universal Manipulation Interface) 방식이다. 진행자는 원격조작 번거로움이 없는 UMI를 가장 편하다고 꼽았다.
• 학계와 업계의 시선이 갈렸다. 학계 발표는 촉각·시뮬레이션 같은 먼 미래 문제를 다루는 반면, 업계는 당장 인간 노동을 대체할 방법을 찾는다고 진행자는 정리한다. Physical Intelligence의 pi-0.5 논문도 학회 발표 전 온라인에 이미 공개돼 있었다.

주요 숫자

반면에 VLA는 아직 멀었습니다. 기껏대야 픽앤 플레이스 정도 되는 수준이에요.

로보티즈 사옥에서 열린 피지컬 AI 워크숍 기록이다. 로보티즈의 새 오픈소스 로봇팔 OMX와 원격조작 휴머노이드 AI 워커를 먼저 둘러본 뒤, sudoremove 호스트 조준호(JC)가 자율주행 연구 경력을 바탕으로 VLA(Vision-Language-Action, 시각·언어·행동 입력을 받아 로봇 동작을 출력하는 모델)를 네 가지 교훈으로 정리해 직접 강연한다.

핵심 포인트

• OMX는 로보티즈가 직접 만든 오픈소스 팔이다. 다이나믹셀(로보티즈 자체 서보모터) 두 종을 섞어 쓰고 300달러대 출시로 전해진다. 진행자는 경쟁작인 HuggingFace 생태계의 SO-101이 "고장이 너무 잘 난다"며, 로보티즈가 액추에이터 회사라 값은 더 받아도 더 낫다는 평가가 많다고 말한다.
• AI 워커는 텔레오퍼레이션(Teleoperation, 사람이 실시간으로 로봇을 원격 조작하는 방식)으로 인사하는 시연을 보인다. 아직 공식 판매 전이고, 진행자들은 조종용 슈트와 중력보상 장치를 갖춰 텔레오퍼레이션 데이터를 모으는 통로 자체가 완성돼 있다는 점을 강점으로 짚는다.

• 첫 번째 교훈: 비정형 과제는 엔드투엔드로 풀어야 한다. 모빌아이의 모듈형 대 테슬라의 엔드투엔드(End-to-End) 논쟁을 끌어와, 빨래처럼 형태가 일정하지 않은 로봇 과제도 통째로 학습하는 정책이 맞다고 JC는 주장한다.
• 두 번째 교훈: 인덕티브 바이어스(Inductive Bias, 모델이 잘 작동하기 위한 설계 가정)를 정해야 한다. 센서 선택(라이더 대 카메라)과 모델 구조가 핵심이며, VLA는 매초 관측만 보는 메모리 없는 구조라 영화 「메멘토」처럼 행동한다고 지적한다.
• 세 번째 교훈: 데이터와 평가 비용을 낮춰야 한다. 텔레오퍼레이션은 비싸고, 시뮬레이션·인버스 다이나믹스(Inverse Dynamics, 전후 프레임으로 행동을 역추정하는 모델) 의사 라벨링·월드모델(World Model, 상태와 행동을 받아 다음 관측을 예측하는 모델)이 그 비용을 낮춘다고 짚는다.
• 네 번째 교훈: 스페셜리스트에서 제너럴리스트로 간다. 자율주행의 ADAS→FSD 순서처럼 VLA도 특정 과제용 모델에서 시작해 RFM(Robot Foundation Model, 범용 로봇 지능 모델)으로 나아갈 것이라고 전망한다.
• VLA가 갑자기 되기 시작한 이유를 액션 생성 기법으로 짚는다. 초기엔 행동값을 256개 구간으로 쪼개 대형언어모델처럼 다뤄 느리고 부정확했는데, 액션 청킹과 디퓨전 폴리시·플로우 매칭이 나오며 풀렸다고 설명한다.

주요 숫자

내가 하다 보면은 이제 로봇이 약간 부서질 것 같아요. 근데 그거 전에 제 몸이 부서질 것 같아요.

sudoremove 대표 박종현이 AI 로보틱스 코리아(AIRK) 2025 데모룸을 돌아본 뒤, HuggingFace의 액션 데이터 스케일링 강연을 했다. 손가락마다 2kg 힘을 내는 7자유도(DOF, Degree of Freedom, 관절이 독립적으로 움직이는 축 수) 로봇 손을 실측했고, HuggingFace의 오픈소스 로봇은 특허 이슈가 있다고 소개자 스스로 밝혔다. 32시간짜리 월드와이드 해커톤에서는 5만 개 에피소드가 올라오고 190개 팀이 과제 성공을 제출했다.

핵심 포인트

• 손 하나는 7자유도, 손가락당 2kg. 엄지·검지만 2자유도씩이고 나머지는 1자유도인 로봇 손을 부스에서 직접 만졌다고 전한다.
• 다른 손은 다이나믹셀과 호환되지 않는 자체 모터를 썼다. 카메라 다섯 개를 달았고, 지난 해커톤엔 미완성이었다가 이번에 처음 완성해 들고 나왔다.

• HuggingFace 오픈소스 로봇은 발표자 스스로 특허 이슈를 인정했다. 청중석에 있던 로보티즈(Robotis, 서보모터 제조사) 관계자를 가리키며 "특허 이슈도 있고" "품질이 좋으냐 하면 의문이 있다"면서도, 3D 프린트로 값싸게 만들 수 있다는 점을 앞세웠다.
• 테슬라·엔비디아와 다른 세 번째 길이다. 테슬라는 사람 수백 명을 고용하고 엔비디아는 시뮬레이션으로 데이터를 무제한 생성하지만, HuggingFace는 저가 로봇을 뿌려 커뮤니티가 직접 만들게 한다.
• 32시간 해커톤에서 5만 개 에피소드, 190개 팀 성공. 오프라인 스팟만 44개국·3,000명 이상이 참가했고, SmolVLA 모델은 이 커뮤니티 데이터로 이미 학습됐다.
• 서울 로컬 상위권에 다섯 팀이 들었다. 톱10에 두 팀, 상위권(톱티어)에 세 팀이 들어 로봇팔을 후원받았다고 전한다.
• 사족보행(다리 넷으로 걷는 로봇 분야)을 연구하는 AIRK 운영진도 소개된다. 커뮤니티 가입 경로가 카카오톡에서 디스코드로 옮겨가고 있다고 밝힌다.
• 박종현 스스로 크로스 임바디먼트 일반화는 올해 안엔 안 된다고 선을 긋는다. 궁극적으로는 몸이 바뀌어도 동작하는 모델을 그리지만, 유튜브 영상에서 액션을 뽑는 접근에는 회의적이라고 밝힌다.

주요 숫자

로봇 데이터, 액션 데이터는 휴먼 인간을 불태워서 만들고 있어요.

이 카드는 sudoremove 진행자 둘이 HuggingFace(허깅페이스)의 오픈소스 로봇 플랫폼 LeRobot(르로봇)을 다룬 영상 네 편을 하나로 묶는다. 2025년 5월 집에서 로봇팔을 조립하던 실습이, 2025년 6월 진행자들이 직접 호스트를 맡은 서울 해커톤을 거쳐, 2026년 5월 파리 본사 인터뷰에서 회사의 공식 데이터 전략으로 굳는 과정을 좇는다.

핵심 포인트

• 실습 편(2025-05-14). SO-101 로봇팔을 조립해 ACT(Action Chunking Transformer, 동작을 여러 스텝 묶음으로 예측하는 가벼운 모델)를 프리트레인 없이 바닥부터 H100 한 대로 3시간 학습시켰다. 데이터는 겨우 4개 에피소드였다.
• 해커톤 편(2025-06-19·26). 서울 지역 호스트를 맡은 수도리무브는 신청 예상 20명이 실제 40명 넘게 몰리는 걸 겪었다. 1등 팀은 ACT를 50 에피소드·6만 스텝만 학습시켜 색깔 인지 멀티태스킹을 압도적 성공률로 시연했다.

• 같은 해커톤에서 SmolVLA(HuggingFace가 커뮤니티에 공개한 소형 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델))도 실전에 들어왔다. 나온 지 2주밖에 안 된 모델을 참가팀이 직접 파인튜닝해 인스트럭션 팔로잉(문장 지시를 그대로 따르는지)까지 확인했지만, 잡는 동작 자체는 완성하지 못했다.
• 참가팀 절반 이상이 모터 펌웨어 버전 불일치를 겪었다. 같은 주문으로 온 모터인데 펌웨어가 섞여 있어 현장에서 업그레이드해야 했다.
• 진행자는 스스로 회의도 밝혔다. "저는 그게 이제 중간 과정이 될 거라고 봅니다"라며, 액션 데이터를 인터넷에 채우려는 시도가 결국 액션 데이터를 사람이 만들어야 하는 근본 한계를 넘지 못한다고 짚었다.
• 본사 탐방 편(2026-05-12). 르로봇 팀 리더는 접근성·최신 기술·커뮤니티 세 원칙을 밝혔고, 유니트리(Unitree) 휴먼노이드 지원과 촉각 센서 연구로 플랫폼 범위를 넓혔다.
• 커뮤니티 데이터는 회사의 공식 전략이 됐다. 데이터 플라이휠(flywheel, 한번 돌기 시작하면 스스로 가속하는 순환 구조)이라는 이름으로, 전 팀 리더 레미(Remi)가 나가 세운 UMA 같은 산업 파트너까지 포함한다.
• 다만 르로봇은 수익화 계획이 없다고 명시적으로 밝혔다. HuggingFace 허브로 사람을 끌어모으는 것 자체가 목적이라는 논리다.

주요 숫자

저는 그게 이제 중간 과정이 될 거라고 봅니다.