평가 판이 스프레드시트에서 시작해 왜 결국 시스템 문제로 커지는지를 단계로 짚음. 여느 조각은 몇 킬로바이트인데 에이전트 자취에서 10~20메가바이트짜리를 봤다는 수, 자기네가 만든 질의 언어를 자기들도 싫어했다는 자인, 어느 고객이 자취 전체를 상대로 글 검색을 요구하면서 그 구조가 무너진 대목이 나옴. 「그냥 만들면 된다」는 말에 대고 만들면 관리해야 한다고 되받는 자리도 있음.
한줄 코멘트. 이건 화면을 잘 만드는 문제가 아니라 시스템 문제다라는 한 줄이 발표의 전부다. 근거는 자릿수다 — 여느 조각이 몇 킬로바이트인데 에이전트 자취에서는 10~20메가바이트짜리를 봤다. 자기네가 만든 질의 언어를 자기들도 싫어했다고 밝히는 대목이 이 발표를 파는 자리와 갈라 놓는다.
에이전트 품질을 다루는 회사에서 솔루션 쪽을 이끄는 사람이 발표한다. 겸임으로 가르치던 첫해에 수강생이 130명에서 60명, 30명, 10명으로 줄었다며, 그래서 강연마다 네댓 명만 올 거라 여기고 온다고 농담으로 연다.
들어온 계기를 밝힌다. 컨설팅 시절 고객들이 시제품은 잘 만드는데 아무도 내보내지 못했다.
재는 이유로는 변덕을 든다. 모델은 편차가 극심하다. 그리고 에이전트가 고객이 회사와 마주하는 통로가 되어 가니, 확신이 없으면 브랜드와 규정과 값과 유지보수 쪽으로 위험을 떠안게 된다고 말한다.
한 가지 밝혀 두는 것이 있다. 이 발표를 판촉으로 만들지 말라는 요청을 받았다며 회사 소개 장표는 이것이 마지막이라고 말한다.
평가 판이 커지는 네 단계
청중에게 묻는다. 지금 평가를 시트로 하고 있는 사람.
그 단계에 필요한 것은 셋뿐이다. 에이전트를 돌리는 방법, 결과를 보여 줄 화면, 넣을 예시를 모으는 방법이다.
그런데 이것을 적어 두는 일이지 시험하는 일이 아니다라고 부른다. 실험끼리 곧바로 견주기 어렵고, 매기는 것이 대개 사람이라 규모를 키우기 어렵기 때문이다.
다음 단계에서 흔히 나오는 말을 그대로 옮긴다. 「그냥 우리가 만들면 되지.」 그래서 화면을 만들고 담아 둘 자리도 붙인다. 그래도 아직은 되풀이하는 것이 아니라 보고하는 것에 가깝다고 말한다.
셋째로 설정을 만져 보는 판이 붙는다. 기술 쪽 사람과 아닌 사람 양쪽 다 쓸 수 있어야 한다고 짚는다.
넷째가 이 절의 요점이다. 좋은 평가를 하려면 망가지는 갈래를 놓고 채점 함수를 만들어야 하는데, 그 갈래를 찾는 가장 좋은 길은 내보낸 자취를 보는 것이다. 그러니 관측과 평가가 한 고리로 이어진다.
이 대목에 실제 이야기가 붙는다. 세 해 전에는 평가만 하는 판이었는데, 어느 고객이 매시간 내보낸 트래픽 전부를 넣어 평가를 돌리고 있는 것을 보고 자취를 뜨는 기능을 만들게 됐다는 것이다.
「그냥 만들면 된다」에 대고 되받는 한 줄이 있다. 만들었으면 관리해야 한다.
그리고 그 관리가 업계가 움직이는 속도에 맞춰 계속 키워 가는 일이 된다고 말한다.
에이전트 자취는 자릿수가 다르다
조각 하나의 크기
여기서 수가 나온다. 에이전트 자취는 칸이 반쯤만 정해져 있고 안이 온통 글이다. 여느 프로그램의 *스팬이 몇 킬로바이트인데 여기서는 10~20메가바이트짜리를 봤다고 말한다.
담는 방식도 둘이 필요하다고 말한다. 바로 보이게 빨리 밀어 넣는 쪽과, 모아서 따져 보려고 쌓아 두는 쪽이다.
그리고 경고 하나를 덧붙인다. 1기가바이트짜리 자취를 관계형 저장소의 한 줄에 밀어 넣으면 성능이 무너진다는 것이다.
이 발표에서 가장 정직한 대목이다.
예전 구조를 이렇게 밝힌다. 오픈소스 창고를 쓰고, 두 갈래를 잇느라 자체 질의 언어를 만들었고, 마지막 모으기는 브라우저 안에서 했다.
그러고 이렇게 말한다. 아무도 그 언어를 안 좋아했고 우리도 싫어했다.
이 구조가 무너진 계기도 구체적이다. 어느 고객이 정형이 아닌 자료를 잔뜩 보내면서 자취 전체를 상대로 글 검색을 요구했다. 그 기술들 중 어느 것도 글을 다루는 데 맞지 않았다.
그래서 결론이 선다. 에이전트 품질을 재는 일은 화면 문제가 아니라 시스템 문제다.
앞으로를 두고 몇 가지를 든다.
하나는 화면을 아예 안 쓰는 쓰임이 늘고 있다는 것이다. 코딩 에이전트가 직접 질의를 던져 자료를 가져다 쓰는 식이다. 그래서 사람만이 아니라 에이전트를 위해서도 판을 만들라고 말한다.
다른 하나는 모르는 줄도 몰랐던 것을 묶어 보아 드러내는 일이다. 그래야 어디에 시간을 쓸지 안다는 것이다.
못 다룬 것도 스스로 짚는다. 권한을 나누는 일과 자료를 가리는 일 같은 것은 이야기도 못 했다고 말한다. 마지막으로 길목에 프록시를 둬서 안 뜰 수 없게 만드는 방안을 든다.
질의응답에서 그림과 소리가 섞인 것을 어떻게 다루느냐고 묻자, 따로 담아 두고 자취 안에서 바로 틀어 볼 수 있게 한다고 답한다.
새 구조의 값이 없다. 예전 구조가 왜 안 됐는지는 자세한데, 바꾼 뒤 무엇이 얼마나 나아졌는지가 나오지 않는다.
10~20메가바이트는 목격담이다. 그런 것을 봤다는 것뿐이고 평균이 얼마인지, 얼마나 잦은지가 없다.
단계마다 무엇이 얼마나 드는지 없다. 직접 만들 때와 사서 쓸 때를 견준 자리도 없다.
「모르는 줄도 몰랐던 것」을 찾는 방법에 사례가 없다. 묶어 보라고만 하고 그것으로 무엇을 찾아냈는지가 없다.
핵심 절 하나를 시간이 없다며 건너뛴다. 그래서 어쨌다는 것이냐는 물음은 블로그로 넘긴다.
용어