1. 왜 기기에서 돌리나

마이크로소프트에서 제품을 맡는다는 사람이 발표한다.

여는 물음이 이것이다. 클라우드가 그렇게 센데 왜 기기에서 돌려야 하나.

고객과 이야기하며 본 이유로 넷을 든다. 망이 나쁘거나 끊겼을 때, 밖으로 나가면 안 되는 자료를 다룰 때, 부르는 횟수가 어마어마해 값이 감당 안 될 때, 그리고 기다릴 수 없을 때다.

첫째에 붙이는 농담이 이 자리답다. 행사장 인터넷이 나쁜 것을 다들 겪었을 텐데 자기 시연은 전부 기기에서 도니 걱정이 없다는 것이다.

셋째의 예로 날마다 수억 번 부르는 게임을 든다.

이어서 지금 준비가 됐느냐를 묻고 셋을 댄다. 기기 쪽 칩이 좋아졌고, 가볍고 빠른 모델이 계속 나오고, 실행하는 쪽 최적화 기법도 붙었다는 것이다.

2. 새로 만든 것은 가운데뿐

만든 과정을 스스로 이렇게 말한다. 이미 좋은 자산이 여럿 있었다.

이어 붙인 것들

그 사이에 새로 넣은 것이 기기에 모델을 얹고 챙기는 서비스다. 이것이 클라우드 쪽 판에 붙어 필요할 때 모델을 내려받는다.

쓰는 자리로는 명령줄과 SDK를 준다. 한 달 전에 공식으로 알렸고 두 운영체제에서 쓸 수 있다고 말한다.

칩 회사 여럿과 붙여 두었고, 공식 발표 전 100곳 넘는 고객이 닫힌 시험에 참여했다고 말한다.

3. 시연 — 두 모델과 두 운영체제

깔고 나서 목록을 보면 모델마다 칩에 맞춘 판이 따로 있다. 자기 기기에는 전용 칩이 없어 그 판은 안 보인다고 말한다.

작은 모델을 돌려 물어보고 초당 90토큰쯤이 나오는 것을 확인한다. 그다음 한 판 큰 모델로 같은 것을 물어 본다. 크고 조금 느린데 답이 더 자세하다며 자기라면 이쪽으로 만들겠다고 말한다.

만들어 보인 것은 문서를 간추리는 앱이다. 새 조직에 가서 내부 문서를 빨리 읽어야 하는데 클라우드에 올릴 수 없는 상황을 예로 든다.

그리고 이 발표에서 가장 실용적인 대목이 나온다. 팀원 하나가 다른 운영체제를 써서 프로젝트를 통째로 싸서 보냈고, 그 사람이 같은 명령으로 그대로 실행해 시연을 찍어 보냈다. 다만 그쪽은 다른 모델을 골랐고 답이 더 짧았다.

4. 로컬 에이전트

마지막이 에이전트다. 아직 닫힌 시험 단계라고 먼저 밝힌다.

짜임은 단순하다. 모델 하나에 도구 서버 하나 이상이다. 여기서 그 서버들을 잇는 규격이 *MCP다.

돌려 보이는 것이 이미지에서 글자를 뽑는 에이전트다. 실행하면 갖춘 것을 먼저 살펴 없으면 허락을 받아 깔고, 어느 폴더까지 볼지 권한을 묻는다.

시킨 일은 영수증을 찾아 합계를 구하는 것이다. 먼저 찾는 도구를 쓰고 그다음 읽어 내는 도구를 쓴 뒤 합계를 내놓는다.

닫는 말이 이 발표에서 가장 정직하다. 로컬 모델은 대체로 클라우드 모델만큼 세지 않다. 그러니 클라우드 쪽이 하는 정교한 일까지 기대하면 안 되지만 그래도 열린 것이 많다는 이야기다.

5. 발표가 밝히지 않은 것

초당 90토큰의 조건이 없다. 어떤 기기에서, 어느 칩으로, 어떤 설정으로 잰 값인지가 없다. 견준 앞의 값도 없다.

두 모델을 견준 것이 답 하나씩이다. 어느 쪽이 나은지를 한 물음에 대한 인상으로 말한다.

고객 후기에 수가 없다. 메모리와 첫 응답과 초당 토큰이 눈에 띄게 나아졌다고 하는데 얼마나인지가 없다. 후기 자체도 파는 쪽이 골라 실은 것이다.

100곳 넘는 시험 참여자의 결과가 없다. 참여했다는 것만 있고 무엇이 좋았고 무엇이 안 됐는지가 없다.

에이전트 기능은 아직 못 쓴다. 닫힌 시험이라 신청해야 한다고 말한다.

이유를 넷 든다면서 번호를 셋에서 다시 센다. 자막에서 발표자가 「세 번째」를 두 번 말한다.

자막이 제품과 모델 이름을 크게 뭉갠다. 자기 제품 이름부터 여러 군데 다르게 적혀 있어 정확한 표기는 원문에서 갈린다.