1. 무엇이 다르다는 것인가

에이전트 품질을 다루는 회사에서 솔루션 쪽을 이끄는 사람이 발표한다. 제품 위주 발표가 아니라 이론 쪽이라고 먼저 밝힌다. 자막이 회사 이름을 두 가지로 적어 놓아 표기가 갈린다.

사람들이 찾아와 이렇게 말한다고 한다. 이미 관측 도구를 쓰고 있는데 같은 문제 아니냐.

지금까지의 관측은 살아 있나와 얼마나 빠른가가 전부라고 말한다. 지연, 얼마나 걸렸나, 오류 코드다. 자기네도 그런 도구를 잘 쓰고 있다고 덧붙인다.

나누는 말은 *트레이스와 *스팬으로 한다. 앞의 것이 한 흐름 전체이고 뒤의 것이 그 안의 한 걸음이다.

2. 옛 지표를 버리는 것이 아니다

구분하는 근거는 하나다. 프로그램은 정해진 대로 돌고 에이전트는 그렇지 않다. 우리가 모델을 쓰는 이유가 바로 그 폭이 넓어서라고 말한다.

여기서 균형 잡힌 대목이 나온다. 옛 지표가 에이전트에도 그대로 쓰인다. 첫 토큰까지 걸린 시간, 쓴 토큰 수, 걸린 시간, 지연이다.

그 위에 얹히는 것

질의응답에서 청중이 이것을 「기능이 제대로 도나」를 보는 관측이라 부르자 발표자가 그 표현이 마음에 든다고 답한다. 그러면서 앞의 기술 지표는 자취를 뜨는 순간 덤으로 딸려 온다고 말한다.

3. 자취가 사납다

두 번째 문제는 크기다.

자취가 반쯤만 구조를 갖췄고 그 안에 정형이 아닌 글이 잔뜩 들어 있다고 말한다. 그리고 수가 나온다. 자취 하나가 1기가바이트를 넘는 것을 봤고, 조각 하나가 20메가바이트인 것도 봤다.

게다가 사람들은 그것을 진짜 실시간으로 보고 싶어 한다.

그래서 저장소를 새로 짰다고 말한다.

그 저장소가 얹은 세 겹

자인하는 대목이 있다. 전에는 다른 저장소를 썼는데 옮겼다고 말한다. 이유는 그때 그것이 글 기반 색인을 못 해 줬기 때문이라며 「적어도 그 당시에는」이라고 단서를 단다.

4. 보는 사람이 다르다

세 번째 문제가 사람이다.

지금까지의 관측은 보는 사람이 정해져 있었다고 말한다. 시스템 쪽 사람이거나 제품 쪽 엔지니어다.

에이전트를 잘 만드는 팀은 다르다고 말한다. 기술 쪽 사람과 아닌 사람이 같이 이 일을 한다. 임상의, 간호사, 자산관리사, 변호사를 든다.

그래서 관측과 평가를 같은 문제로 본다고 말한다. 다른 점은 묶어서 돌리느냐, 넣을 것을 미리 아느냐뿐이라는 것이다.

5. 이유가 채점표가 된다

이 발표에서 가장 실용적인 순서다.

전문가를 불러 자취를 채점하게 하는 것까지는 흔하다. 거기서 왜 그렇게 매겼는지를 함께 적게 하는 것이 핵심이라고 말한다.

그 이유들을 모아 모델에 돌리면 더 넓게 쓸 수 있는 채점 함수가 나온다. 실패의 갈래를 찾아 자동으로 매기는 점수로 옮겨 심는 것이다.

한 달쯤 전에 낸 기능도 같은 방향이다. 들어오는 자취에 가벼운 모델을 얹어 묶고, 사람들이 어떤 뜻으로 쓰는지, 어떻게 느끼는지, 어디서 걸리는지를 갈래로 본다.

마지막에 이 둘을 갈라 놓는다. 점수로 매기는 쪽은 「무엇을 모르는지 아는 것」이고, 묶어 보는 쪽은 「모르는 줄도 몰랐던 것」이다.

6. 발표가 밝히지 않은 것

자기 저장소를 잰 값이 없다. 새로 짰다면서 얼마나 빠른지, 무엇과 견줘 나은지가 나오지 않는다. 버렸다는 예전 저장소와 나란히 놓은 자리도 없다.

1기가바이트와 20메가바이트는 극단값이다. 봤다는 사례일 뿐 평균이 얼마인지, 그런 것이 얼마나 잦은지가 없다.

자세한 것은 블로그로 넘긴다. 저장소 이야기는 회사 블로그에 있으니 깊이 안 들어가겠다고 말하고 지나간다.

묶어 보는 기능에 사례가 없다. 한 달 전에 열었다면서 그것으로 무엇을 찾아냈는지가 없다.

비개발자가 직접 본다는 대목에 수가 없다. 그런 팀이 얼마나 되는지, 그렇게 해서 무엇이 달라졌는지가 나오지 않는다.