1. 왜 다시 짜야 하나

평가와 관측을 파는 회사의 현장 CTO가 발표한다.

시연을 만드는 일은 쉬운데 내보낼 만한 물건으로 만드는 일이 어렵다는 것을 다들 겪었을 거라고 연다. 어려운 이유가 잘못 만들어서가 아니라 둘러싼 것들이 빠르게 바뀌기 때문이라고 말한다.

판이 바뀔 때마다 그것이 조금 나아진 것이 아니라 계단처럼 뛰었다고 말한다. 그래서 지금은 고쳐 쓰는 단계에서 아예 바닥을 다시 까는 단계로 넘어가고 있다는 것이다.

새 모델을 그냥 끼워 넣는 것으로 안 되는 이유가 여기서 나온다. 지금 시스템은 예전 모델의 못하는 자리를 전제로, 그것을 피해 가는 논리를 잔뜩 넣어 지은 것이기 때문이다.

2. 루프로 갔다 그래프로 왔다 다시 루프로

발표는 실제로 쓰는 운영 에이전트 하나를 놓고 판마다 무엇이 달라졌는지 짚는다.

맨 처음은 프롬프트 하나에 호출 하나였다. 그다음이 꺼내 와서 붙여 넣는 구조다. 입력을 읽고, 그것으로 자료를 찾고, 맥락을 만들어 모델에 넘긴다.

그다음이 모델이 스스로 다음 걸음을 정하는 루프다. 사용자의 뜻이 채워지거나 반복 예산이 다할 때까지 돈다. 발표는 여기서 솔직하다 — 생각은 아주 신났는데 약속한 것을 못 지켰다. 도구 인자를 틀리고 순서를 못 짰기 때문이다.

그래서 팀들이 순서와 실행과 계획을 시스템 쪽에 직접 짜 넣는 그래프로 옮겼다. 정해 둔 쓰임에는 잘 돌았는데, 정해 둔 범위 밖의 요청이 들어오면 무너지기 시작했다. 그것을 메우려 갈래를 계속 붙이자 터질 자리가 크게 늘었다.

그다음이 이 발표의 뒤집기다. 도구 호출이 믿을 만해지고 긴 일을 끌고 가는 힘이 붙자, 그래프로 짠 시스템들이 그 새 능력을 못 쓰게 됐다. 그래서 루프를 다시 짰고 이번엔 돌기 시작했다.

판마다 평가가 무엇을 봤나

3. 한 번 재는 걸로 안 된다

루프로 돌아오자 새 문제가 생겼다. 같은 입력을 몇 번 돌리면 지나는 길이 매번 딴판이었다.

그래서 재는 단위가 바뀐다. 한 번 재는 것이 아니라 같은 평가를 K번 돌려 그 분포를 본다.

여기서 두 수가 갈린다. K번 중 한 번이라도 되는지는 그 일을 할 힘이 있느냐를 재는 것이고, K번 중 몇 번이나 되는지는 믿을 만하냐를 재는 것이다. 둘은 다른 것을 재므로 하나로 합쳐지지 않는다.

4. 시스템이 제품이 됐다

요즘 것은 루프를 도는 모델 하나가 아니라고 말한다. 둘레에 부품이 붙었다.

붙은 부품

그러니 지난 판의 평가를 그대로 쓰면 새로 생긴 터질 자리를 못 본다. 시스템을 반쯤만 덮게 된다는 것이다.

그래서 발표가 세우는 말이 이것이다. 오래가는 자산은 시스템이 아니라 평가다 — 시스템이 어떻게 굴러야 하는지를 적어 둔 것이 평가이기 때문이다.

5. 돌리기로 해 놓고 안 돌린다

내보낸 뒤의 자료를 걷어 평가에 되먹이는 *돌개바퀴 그림에는 다들 머리로는 동의한다고 말한다.

그런데 실제로는 많은 팀이 그 일을 안 해서 평가가 굳은 채로 남는다고 짚는다. 이 발표에서 가장 아픈 한 줄이다.

판이 갈릴 때는 이미 아는 실패만이 아니라 새로 생길 실패에도 빛을 비출 장치가 필요하다고 말한다. 여기서부터 자기 회사 기능 소개로 넘어간다 — 내보낸 자료 전체를 묶어 보아 예상 못 한 실패 갈래를 찾아 준다는 것이다.

닫는 말은 이렇다. 모델은 계속 바뀔 것이고 아직 평평해지지 않았다. 그러니 앞으로도 에이전트에 큰 수술을 계속하게 될 것이라고 말한다.

6. 발표가 밝히지 않은 것

잰 값이 하나도 없다. 판이 바뀌며 무엇이 얼마나 나아졌는지, 그래프에서 루프로 돌아왔을 때 무엇이 얼마나 달라졌는지가 나오지 않는다.

K를 얼마로 잡아야 하는지가 없다. 여러 번 돌려 분포를 보라고 하면서 몇 번이 적당한지, 그만큼 돌리는 값이 얼마인지가 없다.

「범위 밖이면 무너진다」의 근거가 없다. 그래프가 무너지기 시작했다고 말하는데 얼마나 자주 그랬는지가 없다.

군집으로 찾아 준다는 기능에 사례가 없다. 무엇을 실제로 찾아냈는지, 그것이 놓치고 있던 것이었는지가 나오지 않는다.

견줄 기준선이 없다. 이 방식과 다른 방식을 나란히 놓고 잰 자리가 한 군데도 없다.