서로 다른 틀에서 만든 모델을 한 형식으로 모아 휴대폰·노트북·작은 보드까지 같은 파일로 내보내는 경로. 작은 모델에 함수 호출과 구조화 출력과 사고 과정이 기기 안에서 붙었다는 것, 전용 칩을 쓰면 세 배에서 열 배라는 전망, 경쟁 실행기 대비 모바일 35배라는 자체 값이 나옴. 다만 그 배수들에 조건이 거의 안 붙는다. 그날 아침 만든 로봇 데모가 아직 느리다고 스스로 밝히는 대목도 있음.
한줄 코멘트. 한 형식으로 모아 두면 그 뒤로는 어디든 같은 파일 하나로 간다는 것이 이 발표의 뼈대다. 값나가는 대목은 작은 모델에 함수 호출과 구조화 출력이 프롬프트 요령이 아니라 구조로 붙었다는 자리다. 다만 든 배수들 — 세 배에서 열 배, 최대 열세 배, 35배 — 에 조건이 거의 안 붙는다.
기기 쪽 실행기를 맡는다는 사람이 발표한다. 질의응답에 함께할 동료가 있다고 소개하는데 그 이름은 자막에 안 나온다.
기기에서 돌리는 이점으로 넷을 든다. 빠르다, 자료가 안 나간다, 끊겨도 된다, 값이 덜 든다. 첫째의 예로 실시간 카메라 쪽 일을 든다.
한 대목이 눈에 띈다. 이 행사 발표들에서 토큰을 얼마나 썼는지 불평하는 이야기를 많이 봤다며, 기기 쪽이 클라우드와 섞어 쓰는 균형을 준다고 말한다.
이번에 나온 작은 두 모델에 집중한다고 말한다. 큰 판이 대화 상대에서 스스로 움직이는 쪽으로 옮겨 갔다는 것이 이번 세대의 변화라고 한다.
무게도 댄다. 작은 쪽은 1~2기가 남짓 쓰고 목소리로 주고받거나 간추리는 일에 맞는다. 큰 쪽은 노트북이나 사물인터넷 기기처럼 더 큰 판을 겨눈다. 그리고 이 수는 *양자화를 거친 뒤 기준이라고 단서를 단다.
새로 붙은 것 셋이 실무적이다. 도구를 부르는 기능, 정해진 형식으로 답을 내놓는 기능, 그리고 생각을 펼쳐 보이는 모드다. 둘째에 대해 짚는 대목이 값나간다 — 프롬프트를 잘 써서 얻어 내는 것이 아니라 모델 구조에 넣은 것이라고 말한다.
체험용 앱을 소개한다. 기기 안에서 목소리를 받아 적고, 그림을 두고 묻고, 대화하는 것을 보여 준다.
만든 뜻도 밝힌다. 무엇이 되는지 감을 잡게 하는 놀이터이고, 기능마다 예제 코드가 있으며 그대로 떠 가서 자기 것을 만들어도 된다는 것이다.
보인 사례가 구체적이다. 백과사전을 뒤져 답하는 스킬, 하루 기분을 적어 두고 최근 이레의 흐름을 기기 안에서 분석하는 것, 사진을 주고 그 분위기에 맞는 소리를 만들게 하는 것이다.
그리고 그 스킬을 앱을 나가지 않고 앱 안에서 직접 쓸 수 있다고 말한다. 사람들이 만든 것을 올리는 자리도 따로 있다.
배포가 지나는 세 걸음
바닥은 오래된 기기용 실행기 위에 서 있다고 말한다. 앱 10만 개 넘게, 사용자 수십억이 이미 쓰고 있다는 것이다.
이름을 바꾼 이유가 이 절의 요점이다. 자기네 틀에서 만든 것만 받는 게 아니라 다른 틀에서 만든 것도 받는다는 것을 보이려는 것이었다.
경로는 이렇다. 어디서 온 모델이든 한 형식으로 바꾸고, 필요하면 자리수를 줄인다. 그다음 말을 다루는 것이면 그 길로, 아니면 다른 길로 간다.
그러면 같은 파일이 여러 판에서 돈다 — 휴대폰 두 갈래, 데스크톱 세 갈래, 웹, 그리고 작은 보드까지다.
곁들이는 도구도 있다. 그래프를 뜯어보며 어디를 줄일지 정하는 것, 그리고 미리 컴파일할지 그때그때 할지를 정하게 돕는 재기 서비스다.
어느 칩에 얹나
어느 칩에 얹나
일반 연산 장치와 그림 처리 장치는 이미 두루 된다고 말한다. 남은 것이 *NPU다. 두 곳과는 붙였고 다른 곳들과 붙이는 중이라고 밝힌다.
그러면서 전망을 댄다. 전용 장치가 적어도 세 배에서 열 배를 줄 것이고 쓰는 에너지 면에서 판을 바꿀 것이라는 이야기다.
발표가 댄 배수와 값
| 무엇 | 값 | 어떤 값인가 |
|---|---|---|
| 전용 장치 | 3~10배 | 앞으로 그럴 것이라는 전망 |
| 새 가속기 | 경우에 따라 최대 13배 | 어느 경우인지는 안 밝힘 |
| 어느 휴대폰 판 | 초당 56토큰쯤 | 어느 모델·설정인지 없음 |
| 다른 실행기와 견주기 | 모바일 35배, 데스크톱 대등, 사물인터넷 3배 | 자기네가 잰 값 |
그날 아침 만들었다는 작은 보드 로봇도 보인다. 시키는 말에 안테나를 흔든다. 그러고 급히 만들어 아직 성능을 손봐야 한다고 스스로 말한다.
질의응답에서 익숙한 사례를 든다. 휴대폰의 얼굴 잠금이 이미 기기 안에서 이 실행기로 돈다는 것이다. 집에 두는 카메라 같은 것은 진짜인지 확인하는 절차가 따로 필요할 것 같다고 답한다.
배수에 조건이 없다. 35배가 어느 모델, 어느 기기, 어떤 길이에서 나온 값인지가 없다. 최대 13배도 「경우에 따라」로만 말한다.
3~10배는 잰 값이 아니다. 앞으로 그럴 것이라는 전망으로 나온다.
초당 56토큰의 조건이 없다. 어느 크기 모델을 어느 기기에서 돌린 값인지가 안 나온다.
로봇 데모가 느리다고 본인이 말한다. 그러니 작은 보드에서 실제로 쓸 만한지는 이 자리에서 안 보였다.
전용 장치의 대가가 없다. 붙이는 데 무엇이 드는지, 아직 안 붙은 곳에서는 어떻게 되는지가 없다.
앱 10만 개와 사용자 수십억은 옛 실행기의 몫이다. 새로 얹은 모델 쪽 수가 아니다.
자막이 제품과 사람 이름을 뭉갠다. 모델 계열 이름이 한 번 다르게 발화되고 발표자 성 표기도 갈려서, 정확한 표기는 원문에서 확인해야 한다.
용어