Sharpa 는 로봇 손을 만들어 온 회사다. 엔비디아 GTC 부스에서 사과 깎기를 걸고, 사람이 조종하기 가장 어려운 손안 조작만 강화학습 정책으로 미리 구워 발 페달에 붙였다. 나머지는 모방학습 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)가 맡는 이층 구조이고, 진행자들은 이것을 위계적 구조로 읽는다.

핵심 포인트

• 손안 조작만 떼어 강화학습으로 풀었다. 적당한 힘으로 쥐는 데에는 정답 데이터가 없어 사람 시범으로 못 가르친다. 그래서 PPO(Proximal Policy Optimization, 잘한 행동 쪽으로 정책을 조금씩 미는 강화학습 방법)로 아이작 랩(엔비디아의 로봇 시뮬레이터. 로봇 수천 대를 동시에 돌린다)에서 정책 둘을 굽는다 — 안정적으로 쥐기와 축 기준 돌리기다.
• 조종 장비에 발 페달 세 개가 달렸다. 외골격과 햅틱 피드백에 더해 페달이 있고, 페달을 밟으면 그 강화학습 스킬이 켜진다. 게임에서 A키가 잡기, B키가 돌리기인 것과 같은 구조다.

• 페달 신호까지 학습 대상이다. 모방학습 단계에서 페달을 누른 시점을 함께 배워, 추론할 때 VLA의 출력 하나가 「사과 잡기 스킬 켜기」가 된다. 사람 발이 빠지는 자리가 여기다.
• 효과는 성공률보다 데이터 수율에서 크게 드러난다. 텔레오퍼레이션(사람이 장비를 걸치고 로봇을 직접 조종하는 것)만으로는 90회 중 31회만 학습에 쓸 수 있는데, 강화학습 정책을 켜면 89%가 쓸 만해진다. 사과 깎기 성공률 자체는 30%이고 π0 베이스라인은 0%다.
• 힘과 촉각은 뒤에서 주입한다. π0 백본이 촉각 입력을 받지 않아, 액션 토큰이 나온 뒤에 관절 토크와 손끝 촉각 센서를 받는 작은 MoE 트랜스포머를 따로 학습해 잔차로 얹는다.

• 사람의 반사 동작에 견준다. 숙달된 사람이 생각하지 않고 하는 동작을 미리 구워 둔 스킬로 읽고, 손가락을 여섯 개 일곱 개로 늘려 사람이 못 하는 스킬을 만들 수도 있다는 상상까지 나아간다.

주요 숫자

이게 정답이 아닐 수도 있죠. 근데 이게 됐다라는 걸 보여줬다는게 나는 굉장히 중요한 거 같아요.