딥마인드 안에서 에이전트를 실제로 굴리는 두 사람이 사내 사정을 그대로 이야기함. 사내 한도가 고객보다 빡빡하다는 것, 큰 모델의 몫이 차면 빠른 모델로 자동으로 내려가고 그마저 다 쓰면 로컬 모델로 간다는 것, 자동 코드 리뷰 모델을 사내 스타일 가이드로 파인튜닝해 쓴다는 것까지 나옴. 질문에 모른다고 답하는 대목이 여러 번 있어 어디까지가 확정이고 어디부터가 탐색인지가 드러남.
한줄 코멘트. 사람이 끼어드는 자리를 실행 뒤가 아니라 실행 앞에 둔 것이 이 패널에서 가장 옮겨 볼 만한 대목이다. 무엇을 고칠지 계획을 먼저 펴 보이고 거기서 줄을 고치게 한 다음, 사람이 가라고 말해야 손을 댄다. 결과를 되돌리는 것보다 방향을 바꾸는 쪽이 싸다는 이야기다.
구글 딥마인드에서 개발자 관계와 AI 플랫폼을 맡은 두 사람이 나와 이야기한다. 딥마인드가 에이전트 소프트웨어를 어떻게 보고 자기들 스택을 어떻게 만드는지가 주제다.
발표가 아니라 패널이라 정리된 주장보다 사내 사정이 그대로 나온다. 모르겠다고 답하는 대목이 여러 번 있고, 서브에이전트가 어떻게 도는지는 자세히 모른다고 말하는 자리도 있다.
사람이 끼어드는 자리
시연에서 보인 도구는 일을 받으면 명세를 보고, 분석하고, 자기 도구로 무엇을 할지 목록을 짜고, 브라우저를 움직이며 화면 구조까지 들여다본다. 끝나면 보고서와 화면 기록을 남긴다.
여기서 사람이 끼어드는 자리가 정해져 있다. 도구가 무엇을 고칠지 계획을 펴 보이면, 사람이 그 줄을 손봐 다른 동작을 시킨다. 다 됐다 싶으면 진행하라고 말하고, 그때서야 실제로 손을 댄다.
한도가 차면 내려간다
운영 이야기 중 가장 구체적인 대목이다. 큰 모델의 토큰 한도에 닿으면 빠른 모델로 자동으로 내려간다. 구독분을 전부 쓰면 로컬 모델까지 내려간다.
여기서 솔직한 말이 하나 나온다. 사내 한도가 바깥 고객보다 빡빡하다고 한다. 고객을 먼저 놓기 때문이라는 것이다.
코드 리뷰에는 자동 리뷰 모델을 쓴다. 사내 스타일 가이드로 *파인튜닝한 것이고, 그 위에 제품 단위로 각자 프롬프트를 얹어 다른 리뷰어에게 쓸 만한 신호가 가게 한다.
들여다보는 쪽도 있다. 사용자가 에이전트에 질의를 던지면 그것이 자동으로 화면에 뜨고, 계층을 따라 내려가며 모델에 실제로 간 요청까지 파고들 수 있다고 한다.
수치가 하나도 없다. 지연도 비용도 정확도도 나오지 않는다. 한도가 차서 작은 모델로 내려갔을 때 결과가 얼마나 나빠지는지도 없다. 내려간다는 구조만 있고 그 대가가 없다.
자동 리뷰 모델이 얼마나 맞히는지도 없다. 스타일 가이드로 파인튜닝했다는 것까지만 나오고, 사람 리뷰어가 그 신호를 얼마나 받아들이는지가 없다.
패널이라 확정과 탐색이 섞여 있다. 출시 계획 같은 대목은 자세히 말할 수 없다며 넘어가고, 지금 살펴보는 중이라는 답이 여러 번 나온다.
시연 도중 빠른 모델 쪽이 오류를 내 다시 시작하는 장면도 있었다.
용어