이름이 「사실상 스무 억」인데 실제 개수는 마흔 억쯤인 이유. 층마다 붙는 임베딩을 계산이 아니라 표 찾기로 만들어 놓아 빠른 자리 대신 느린 자리나 디스크에 둘 수 있고, 그래서 빠른 자리에 올리는 몫으로 이름을 붙였다는 구조가 나옴. 노트북 한 대에서 열 개를 나란히 돌려 초당 100토큰씩 그림을 그리게 한 시연, 라이선스를 통상적인 것으로 바꾼 경위, 내놓은 지 이레 만에 다운로드 1000만 건이라는 수도 함께 있음.
한줄 코멘트. 이름이 가진 개수가 아니라 빠른 자리에 올리는 몫을 가리킨다는 대목이 이 발표에서 가장 헷갈리기 쉬운 자리이자 값나가는 자리다. 층마다 붙는 임베딩을 계산이 아니라 표 찾기로 만들어 두었기에 그것을 느린 자리에 밀어 둘 수 있다. 다만 자막에서 모델 크기 숫자가 여러 군데 어긋난다.
이레 전에 새 판을 냈다며 연다. 자막 안에서 발표자가 자기 이름을 대지는 않는다.
*오픈 모델을 이렇게 정의한다. 내려받아 내 장비, 내 기기에서 돌리고 손볼 수 있는 것이다.
한 해 전 판을 두고는 소비자용 그래픽카드 한 장에 들어가는 가장 센 오픈 모델이었다고 말한다. 그때는 십억에서 이십칠억 남짓까지 만들었고, 이번 판은 그보다 넓은 폭으로 냈다.
가장 작은 둘은 휴대폰에서도, 작은 보드에서도 돈다고 말한다. 이틀 전에는 누군가 휴대용 게임기에 얹어 돌리는 것을 봤다고 한다.
이름과 실제 개수가 다르다
이 발표의 손잡이다.
작은 쪽 모델의 이름에 붙은 「사실상 스무 억」이라는 말이 가진 개수를 뜻하지 않는다. 실제로는 마흔 억쯤 갖고 있다.
이름이 가리키는 것은 빠른 자리에 실제로 올려 두는 몫이다.
무게를 어디에 두나
무게를 어디에 두나
되는 이유가 구조에 있다. 층마다 붙는 임베딩이라는 얼개를 쓰는데, 이것이 계산해야 하는 것이 아니라 표에서 꺼내 보는 것처럼 동작한다.
셈을 안 하니 비싼 자리를 차지할 이유가 없다. 그래서 느린 메모리에 두거나 디스크에 둬도 된다.
그러면 오십 억짜리라도 빠른 자리에는 이십 억만 올리고 나머지는 밀어 둘 수 있다. 널리 쓰는 실행 도구에서 깃발 하나로 그 부분을 옮길 수 있다고 말한다.
보여 준 것이 구체적이다. 노트북 한 대에서 열 개를 나란히 돌려 각각 다른 그림을 그리게 했고, 그러고도 초당 100토큰쯤 나왔다.
기능 쪽도 짚는다. 가장 작은 것들도 그림과 영상과 소리를 알아듣고, 말을 글로 옮기거나 옮기면서 번역까지 한다. 140개가 넘는 언어로 배웠다며 널리 안 쓰이는 언어 둘을 예로 든다.
정직한 대목이다. 예전 판의 라이선스가 좋지 않았고 사람들이 제대로 된 것을 원했다는 피드백을 받았다고 밝힌다.
그래서 이번 판에서 통상적인 오픈소스 라이선스로 바꿨다.
발표가 대는 수
| 무엇 | 값 |
|---|---|
| 이번 판 기본 모델 내려받기 | 이레 만에 1000만 건 |
| 이번 판에서 갈라져 나온 모델 | 1000개 넘게 |
| 계열 전체 내려받기 | 5억 건 넘게 |
| 계열 전체 모델 수 | 10만 개 넘게 |
함께 일하는 실행 도구와 배포처를 여럿 든다. 편집기 쪽에도 끊긴 채로 쓰는 모드가 생겨 그 위에서 코드를 돕는다고 말한다.
쓰임 사례도 든다. 안전 판정용으로 갈라 낸 것, 의료 쪽으로 낸 것, 동남아 언어를 훈련하는 곳, 인도에서 정부가 투자해 나라 단위 모델을 만드는 곳이다.
가장 센 사례는 지난 12월 논문이다. 연구자들이 이 모델로 암 치료 경로를 제안했고 실제 실험실에서 확인됐다고 말한다.
닫는 말은 소박하다. 앞으로 두 주 안에 한 시간만이라도 직접 돌려 보라는 것이다.
모델 크기 숫자가 자막에서 어긋난다. 계열의 위쪽 크기를 한 번은 이렇게, 다른 자리에서는 다르게 말하고, 가운데 모델의 크기도 두 수가 나란히 나온다. 정확한 표기는 원문에서 갈린다.
벤치마크를 건너뛴다. 성능 표는 넘기겠다고 말하고 지나간다. 그러니 좋아졌다는 주장이 그림 하나에만 걸려 있다.
그 그림의 한계를 스스로 밝힌다. 쓴 순위표가 완벽한 기준이 아니라고 말하며, 사람들이 얼마나 좋아하는지를 어림잡는 정도라고 덧붙인다.
초당 100토큰의 조건이 없다. 어느 크기 모델이었는지, 어떤 노트북이었는지가 없다.
느린 자리에 밀어 뒀을 때의 대가가 없다. 그만큼 느려질 텐데 얼마나인지가 나오지 않는다.
암 치료 사례의 알맹이가 없다. 무엇을 제안했고 어떻게 확인됐는지가 한 줄로만 지나간다.
내려받기 수는 쓰임이 아니다. 1000만 건도 5억 건도 받은 횟수일 뿐, 실제로 무엇에 얼마나 쓰였는지는 알 수 없다.
용어