1. 슬라이드 없이 묻고 답하기

두 사람이 나온다. 한 명은 개발자 쪽을 맡고 한 명은 기기 AI 제품을 맡는다. 이 시간은 발표가 아니라 물음에 답하는 자리로 쓰겠다고 먼저 밝힌다.

2. 세 갈래

기기에서 지능형 기능을 만드는 길

*온디바이스로 얻는 것 셋을 든다. 민감한 것이 기기를 안 벗어난다, 끊겨도 된다, 부를 때마다 값이 더 안 든다.

맞는 쓰임으로는 민감한 자료를 다루는 일, 그 사람에 맞추는 일, 그리고 맥락이 짧아도 되는 일을 든다.

기기에서 돌리는 방법이 또 둘로 갈린다. 미리 얹힌 모델을 쓰는 길과 자기 모델을 담는 길이다. 뒤쪽은 바로 다음 발표에서 다룬다며 이 자리에서는 앞쪽만 이야기한다.

3. 앱마다 담을 수 없는 무게

바탕 구조가 이것이다. 모델은 시스템 서비스를 통해 기기에 들어오고, 기기에 하나만 있고 앱들이 다 그것을 같이 쓴다.

왜 그렇게 했는지는 청중 물음에 답하며 나온다. 쓸 만하려면 가장 작은 것도 1기가이고 실제로 내보내는 것은 3~4기가다. 앱 만드는 쪽이 그걸 담아 내보내기는 쉽지 않다.

그래서 답이 이렇다. 시스템에 한 번 넣어 두면 다 같이 나눠 쓰고 값도 나눠 문다. 그러니 앱이 백 개가 돼도 걱정 없다고 말한다.

딸려 오는 것도 있다. 요청이 서로 섞이지 않게 따로 돌고, 넣은 것과 나온 것을 기기에 안 담아 둔다.

4. 배터리와 순서

배터리를 묻는 물음에 정직하게 답한다.

최대한 줄였지만 그래도 윗급 성능이 필요하고, 쉬지 않고 돌리면 배터리가 꽤 빨리 준다고 인정한다.

그러면서 실제 씀씀이를 든다. 하루에 열 번, 스무 번쯤 묻고 답 받는 정도이고 그 정도면 배터리가 걱정될 일이 아니라는 것이다. 묶어 처리하는 일처럼 급하지 않은 것은 충전하는 밤에 뒤에서 돌리는 사람들도 있다고 말한다.

여럿이 한 모델을 쓰니 순서 문제도 생긴다. 답은 단순하다. 지금 앞에 떠 있는 앱이 먼저 가고 뒤에서 부르는 것은 줄을 선다.

배터리를 어떻게 다스리느냐에 대한 답도 실용적이다. 어느 앱이 많이 쓰는지 사용자에게 알려 주는 쪽으로 간다는 것이다 — 위치나 무선을 많이 쓰는 앱을 알려 주던 방식과 같다고 말한다.

5. 어디까지 닿나

닿는 폭을 묻는 물음에 세 층으로 답한다.

예전부터 있던 작은 모델들은 훨씬 가벼워 십억 대 넘는 기기에서 문제없이 돈다. 새 갈래는 최근 몇 해의 윗급 기기만 된다. 더 넓히고 싶으면 직접 담는 쪽으로 내려가야 하는데, 그때부터 기기마다 되는지 확인하는 일이 만드는 쪽 몫이 된다.

닿는 폭을 넓히는 다른 길로 섞어 쓰기를 든다. 기기에 모델이 없으면 밖으로 넘기는 방식이고, 몇 주 전에 냈다고 말한다.

6. 못 답한 것들

이 자리가 정직해지는 대목이 몇 있다.

음성 비서에게 물으면 기기에서 처리되느냐 밖에서 처리되느냐는 물음에 솔직히 잘 모르겠고 밖일 것 같다고 답한다.

글을 벡터로 바꿔 비슷한 것을 찾는 기능을 묻자 아직 그 API가 없고 곧 낸다고 답한다.

스킬을 어떻게 쓰느냐는 물음에는 직접 쓸 일이 아니라 프롬프트에 얹히는 것이라고 정리한다.

7. 발표가 밝히지 않은 것

잰 값이 없다. 얼마나 빠른지, 배터리를 얼마나 쓰는지가 수로 안 나온다. 하루 열댓 번이면 괜찮다는 말도 근거가 아니라 어림이다.

줄을 서면 얼마나 기다리는지 없다. 앞의 앱이 먼저 간다는 규칙만 있고 뒤의 앱이 얼마나 밀리는지가 없다.

닿는 폭에 수가 하나뿐이다. 예전 모델이 십억 대 넘는다는 것만 있고, 새 갈래가 실제로 몇 대에 닿는지가 없다.

섞어 쓰기의 대가가 없다. 밖으로 넘어갈 때 값이 얼마나 들고 얼마나 느려지는지가 안 나온다.

모두 한 회사 판 안의 이야기다. 다른 방식과 나란히 놓고 잰 자리가 없다.

자막이 제품과 사람 이름을 크게 뭉갠다. 발표자 이름부터 도구 이름까지 여러 군데 어긋나 있어 정확한 표기는 원문에서 갈린다.