'로봇 데이터 없이'는 Sunday Robotics·Generalist AI에만 맞는 말이다
스텔스에서 나온 Sunday Robotics의 로봇 메모를 계기로, 로봇을 원격조작하지 않고 사람 손 데이터로 학습하는 회사(Sunday Robotics·Generalist AI)와 여전히 원격조작 데이터를 쓰는 회사(Physical Intelligence)가 갈리는 지점을 알게 된다. "로봇 데이터 없이"가 어디까지 진짜인지 회사별로 갈라 볼 수 있다.
sudoremove JB · JC2025-11-2527분YouTube
▾
Sunday Robotics(선데이 로보틱스)와 Generalist AI(제너럴리스트)는 로봇을 원격조작(텔레오퍼레이션)하지 않고 사람이 UMI 그리퍼(Universal Manipulation Interface, 사람이 손에 쥐고 움직이면 카메라가 그 동작을 로봇 조작 데이터로 바꿔주는 손잡이형 도구) 방식으로 모은 손동작 데이터를 쓴다. Physical Intelligence는 π*0.6에서도 실제 로봇을 사람이 원격조작하는 방식을 그대로 쓴다.
핵심 포인트
Sunday Robotics. CEO 통자오(ACT·알로하 창시자)와 CTO 층치(UMI 그리퍼·디퓨전 폴리시 창시자)가 만든 로봇 '메모'는 3지 그리퍼에 그리퍼·모자 양쪽 카메라를 달았고, 제작 원가는 2만 달러라고 밝혔다.
로봇을 원격조작해 모은 데이터가 아니다. 메모의 학습 데이터는 로봇 원격조작이 아니라, 사람이 자체 제작 글로브를 끼고 물건을 잡거나 옮기는 동작을 카메라로 찍어 모은다. 진행자들이 영상에서 두 번 물었고 그때마다 원격조작이 아니라는 답이 돌아왔다.사람 팔 각도는 안 옮긴다. 손끝(엔드 이펙터) 좌표만 정확히 잡고, 로봇 팔 각도는 역기구학(Inverse Kinematics, 팔 끝 목표 위치에서 관절 각도를 거꾸로 계산하는 방법)으로 새로 푼다.
Generalist AI도 같은 방식이다. 앤디 정이 공동창업했고, UMI식 손잡이 그리퍼와 QR 마커로 사람 손 동작을 모은다. 로봇 몸체는 자체 제작이 아니라 UR5 로봇 팔을 썼다.
로봇을 쓰느냐 안 쓰느냐
위 두 회사는 사람이 장치를 끼고 움직인 것을 찍어 로봇 관절값으로 옮겨 심는다. 아래 한 회사는 사람이 로봇을 직접 조종한 데이터를 그대로 쓴다. 제목의 「없이」가 갈라지는 자리가 여기다.
Generalist AI의 데이터는 에피소드 10밀리언, 270k시간이다. 비교로 나온 HuggingFace 갤럭시아 데이터셋(500시간)보다 자릿수가 크다.
Physical Intelligence는 다르다. π*0.6은 여전히 실제 로봇을 사람이 원격조작해 데이터를 모으고, 지도학습(SFT) 베이스 모델 위에 강화학습으로 사람 개입 보정을 얹는다. 시연 과제는 커피 만들기·커피 도장 찍기·상자 접기다.
도메인 갭은 검증되지 않았다. 로봇은 이동할 때 몸체가 위아래로 흔들리지만 사람은 목·상체를 움직이는 쪽이라, 글로브로 찍은 화면 속 시점과 로봇이 실제로 볼 시점이 달라질 수 있다는 지적이 나온다.
'스케일러블'이라는 말에는 진행자도 동의하지 않는다. 여전히 사람이 손으로 직접 데이터를 모아야 하므로, 원격조작보다 효율적인 수집법 정도로 좁혀 불러야 한다는 의견이다.
주요 숫자
2만 달러
Sunday Robotics '메모' 제작 원가
10밀리언 · 270k시간
Generalist AI가 밝힌 에피소드 수·데이터 시간
500시간
비교로 나온 HuggingFace 갤럭시아 데이터셋
16노드(8-GPU) / 3개월
Sunday Robotics가 밝힌 학습·수집 규모(구분 불명)
근데 나는 저게 저렇게 많이 필요한가 싶기도 해.
반론 · 충돌
같은 채널 「행동 데이터는 인터넷에 없다」 편이 편의 UMI 그리퍼 방식은 그 글이 정리한 다섯 경로 중 두 번째("로봇 없이 사람이 들고 다니는 집게로 조작 데이터를 모으고 다른 로봇 플랫폼으로 옮긴다")의 실제 사례일 뿐이다. 그 글은 "다섯 경로 가운데 어느 것도 규모 문제를 푼다고 입증되지 않았다"고 닫았는데, Generalist AI의 270k시간도 회사 자체 발표치이지 외부 검증된 성공률이 아니다.
같은 채널 「Rhoda AI는 VLA를 버렸고 Sharpa는 손안 조작만 따로 구웠다」 편Rhoda AI는 로봇 데이터를 11시간만 썼다고 주장했는데, 이 편의 Generalist AI는 오히려 그보다 훨씬 많은 사람 손 데이터(270k시간)를 모아야 했다. "로봇 데이터 없이"라는 제목이 회사마다 가리키는 대체 데이터의 크기가 극단적으로 다르다는 뜻이다.
진행자 자신의 도메인 갭 지적사람이 글로브를 끼고 움직일 때의 시점·몸통 움직임과 로봇이 실제로 이동할 때의 시점·몸통 흔들림이 다른데, 이 차이가 학습에 얼마나 영향을 주는지는 두 회사 모두 공개하지 않았다. 성공한 궤적만 걸러 썼을 것이라는 추정도 확인되지 않았다.
유튜브 자동 자막 전문을 요약한 카드입니다. 자동 인식이라 회사·모델 이름이 흔들리는 대목이 있어 영상 설명란과 논문으로 맞춰 적었습니다. 숫자는 진행자가 말한 것을 그대로 옮겼고 따로 검증하지 않았습니다. 투자 추천이 아닙니다. 데이터 규모(10밀리언(1천만) 건·270k시간·16노드 3개월)는 모두 회사 자체 발표이거나 진행자의 화면 판독이며, 외부에서 재확인되지 않았습니다.