지난해 토큰을 1000억에서 1조 사이로 썼다고 밝히는 아키텍트가 관측·평가·실험 세 층을 표준 기록 규격 하나로 묶는 방식을 설명함. 재는 범위를 걸음 하나·여러 걸음·오간 길 전체·한 자리 전체 넷으로 나누는 대목, 「잴 수 있다고 다 재지는 마라」는 절제, 그리고 회사의 최종 목표가 이 과정에서 사람을 빼는 것이라고 대놓고 말하는 대목이 있음. 자막에서 신호를 다섯 갈래라 해 놓고 넷만 대는 어긋남도 그대로 남아 있음.
한줄 코멘트. 재는 범위를 넷으로 갈라 놓은 것이 이 발표에서 가져갈 물건이다. 순서가 뒤바뀐 실패는 걸음 하나만 봐서는 안 잡히기 때문이다. 그리고 잴 수 있다고 다 재지 말라는 절제가 붙어 있어서, 평가를 파는 자리치고는 정직한 편이다.
관측 회사에서 아키텍트로 일하며 큰 기업들과 붙어 있다는 사람이 발표한다.
여는 수가 하나 있다. 지난해 자기가 쓴 토큰이 1000억에서 1조 사이일 것이라고 어림한다.
다룰 것으로 셋을 든다. 무슨 일이 벌어지는지 보는 것, 거기서 신호를 뽑는 것, 바꿔 보고 나아지게 하는 것이다.
깔아 두는 말이 이 발표의 태도다. 마법처럼 보이지만 마법이 아니라 그냥 엔지니어링이라는 것이다. 정해진 대로 안 도는 세계라서 하나를 고치면 모르는 새 두세 군데가 되돌아갈 수 있다고 짚는다.
바탕은 *오픈텔레메트리다. 자기네가 하는 것이 전부 그 위에 있다고 말한다.
붙이는 방식이 가볍다. 코드 한 줄을 넣으면 그 틀 안에서 벌어지는 일을 보고 기록을 만들어 화면까지 뽑아낸다.
그 기록을 에이전트가 무엇을 했는지에 대한 감사 기록이라고 부른다. 그리고 이 발표에서 가장 벼려진 한 줄이 나온다. 코드가 에이전트를 감사하는 것이 아니라 기록이 한다.
큰 기업 고객이 무엇을 보는지도 짚는다. 도구를 어떻게 불렀는지보다 마지막에 그 사람이 만족했는지를 더 본다는 것이다.
한 번의 실행만이 아니라 여러 번 돈 것을 한꺼번에 놓고 분포로 보는 것도 든다. 그래야 어느 갈래로 얼마나 갔는지, 어느 부품이 느렸는지에 답할 수 있다.
어디까지 놓고 재나
이 발표의 뼈대다. 재는 범위를 넷으로 나눈다.
이유가 되는 사례가 붙어 있다. 부품 둘을 부르는 순서가 뒤바뀌어 뒤에 와야 할 것이 먼저 불린 일이 있었다. 앞의 것에 기대는 부품인데 그랬으니 결과가 나빠졌다. 이런 것은 오간 길 전체를 놓고 봐야 잡힌다.
한 자리 전체를 보는 쪽은 또 다르다. 주고받은 대화를 통째로 놓고 그 사람이 도중에 답답해했는지, 물은 것에 다 답했는지를 본다.
발표가 대는 갈래
| 갈래 | 무엇인가 |
|---|---|
| 모델 심사 | 모델에게 매기게 한다 |
| 사람 | 쓰는 사람이 보이는 반응 |
| 정답 묶음 | 믿을 만한 답을 모아 둔 것 |
| 딱 잘라 매기기 | 형식이 맞나, 빠진 칸이 없나를 코드로 본다 |
정답 묶음의 쓰임이 눈에 띈다. 그것으로 채점하는 것이 아니라 모델 심사를 그 위에서 돌려 손보는 데 쓴다. 사람이 믿는 라벨에 가까워지게 맞추는 것이다.
딱 잘라 매기는 쪽은 값 때문이다. 형식이 맞는지, 있어야 할 칸이 비지 않았는지 같은 것은 코드로 보면 된다.
그러면서 위로 올라간다. 결국 회사가 보는 것은 셋 중 하나 — 돈을 더 버는가, 돈을 아끼는가, 시간을 아끼는가.
평가를 파는 자리에서 나온 절제라 눈에 띈다.
잴 수 있다고 늘 재야 하는 것은 아니다. 재는 데 값이 들기 때문이다.
그래서 던지는 물음이 실무적이다. 의도대로 도는지 알기 위해 최소한 몇 개를 재면 되는가.
기록이 없어도 시작할 수 있다고 덧붙인다. 넣은 것과 나온 것의 짝만 올려도 된다.
바꿔 보는 일은 프롬프트든 모델이든 짜임이든 설정이든 무엇을 바꿔 보는 것 전부로 잡는다.
두 부류가 만난다
누가 무엇을 하나
좋은 물건을 만들다 보면 두 부류가 한자리에 모이게 된다고 말한다.
그래서 제품을 그렇게 짰다고 밝힌다. 코드를 안 쓰고도 평가를 돌릴 수 있게 해 둔 것이다.
동시에 다른 쪽으로도 연다. 사람들이 화면과 버튼 안에 살고 싶어 하지 않는다는 것을 알았다며, 모든 것을 명령줄과 도구 묶음으로도 꺼내 놓았다고 말한다.
닫는 말이 이 발표에서 가장 세다. 회사의 최종 목표가 이 과정에서 당신을 빼는 것이라고 대놓고 말한다. 무엇을 잴지 고르는 일조차 사람이 안 해야 하고, AI가 기록을 보고 그 자리에서 평가를 만들어야 한다는 것이다.
다섯이라 해 놓고 넷만 댄다. 신호를 다섯 갈래로 나눈다고 말하는데 자막에 드러나는 것은 넷이다. 다섯째가 무엇인지 나오지 않는다.
잰 값이 하나도 없다. 이 판을 썼을 때 무엇이 얼마나 나아졌는지가 없다.
1000억에서 1조라는 폭이 너무 넓다. 열 배 차이가 나는 어림이고, 무엇에 썼는지도 없다.
느리다는 말에 수가 없다. 어느 부품이 크게 느렸다는 사례를 드는데 얼마나인지가 없다.
최소한의 평가가 몇 개인지 없다. 최소로 줄이라고 하면서 어디까지가 최소인지를 정하는 기준이 없다.
한계를 안 밝힌다. 자동으로 평가를 만들어 준다는 방향을 내놓으면서 그것이 틀릴 때 어떻게 되는지가 없다.
용어