고객사들에서 본 평가 성숙도를 네 단계로 정리함. 예시 입력 열 개로 감을 잡되 매긴 이유를 반드시 남기게 하는 첫 단계부터, 내보낸 자취를 되감아 다시 돌리는 순환, 바깥 시스템을 건드리는 도구가 얽힌 자취를 따로 떼어 재현하기 어렵다는 미해결 문제까지 짚음. 질의응답에서 결정적 채점과 모델 심사 사이를 묻자 「심사 자체를 평가하라」고 답하는 대목이 있음.
한줄 코멘트. 평가를 시험 돌리기가 아니라 내보낸 것을 다시 돌리는 일로 보라는 한 줄이 이 발표의 값이다. 여기서 데이터셋을 어디서 구할까라는 물음이 사라진다 — 실제로 오간 자취가 곧 데이터셋이다. 다만 그 자취를 따로 떼어 다시 돌리는 일은 아직 안 풀렸다고 발표자가 직접 말한다.
에이전트 품질을 다루는 회사에서 솔루션 쪽을 이끄는 사람이 발표한다. 컨설팅과 시스템 구축을 열두 해 했다고 밝힌다.
들어온 계기가 이것이다. 고객들이 시제품은 잘 만드는데 그것을 내보내는 데는 그만큼 잘하지 못했다.
재는 이유로 셋을 든다. 평판이 깎이는 것, 값이 너무 드는 것, 그리고 규정과 법에 걸리는 것이다. 그러면서 평가가 막는 쪽만이 아니라 치는 쪽도 된다고 말한다 — 손볼 때마다 얼마나 나아졌는지를 알게 해 주기 때문이다.
단위 시험과 평가는 다르다
무엇을 어디까지 짚나
가장 먼저 못 박는 자리다. 평가는 단위 시험이 아니다.
단위 시험은 빠짐없이 짚는데 평가는 그렇게 못 한다. 틀릴 수 있는 경우가 끝이 없기 때문이다. 다 적으려 들면 시험만 쓰다가 아무것도 못 내보낸다고 말한다.
그래서 망가지는 갈래에서 크게 시작하라고 한다.
이어서 완벽하지 않아도 된다고 말한다. 모델에게 심사를 맡기면 매번 다 맞지는 않는데 그래도 괜찮다 — 방향이 맞기만 하면 된다는 것이다.
평가를 이루는 것으로 셋을 든다. 재는 대상, 그것을 시작시키는 예시 묶음, 그리고 좋고 나쁨을 매기는 함수다.
발표가 든 네 단계
| 단계 | 무엇을 하나 |
|---|---|
| 1 시작 | 감으로 보되 적어 둔다 |
| 2 재서 다스리기 | 사람 지식을 늘려 자동으로 매긴다 |
| 3 복잡해진 것 감당하기 | 바깥 시스템이 얽힌 자취 전체를 본다 |
| 4 더 나아간 기법 | 묶어 보고, 명령줄로 자동으로 돌린다 |
발표자는 이것이 딱딱 끊기는 계단이라기보다 이어진 선에 가깝다고 말한다. 그리고 에이전트가 복잡해지면 필연적으로 이 길을 걷게 된다고 덧붙인다 — 복잡할수록 망가질 자리가 늘기 때문이다.
첫 단계에 대한 태도가 눈에 띈다. 감으로 시작하는 것이 틀린 게 아니다라고 말한다. 이 자리에서 그 말이 험한 말 취급을 받는 것을 알지만 아무것도 없는 것보다는 낫다는 쪽이다.
붙이는 조건이 하나다. 감으로 볼 때 같이 적으라는 것이다.
방법은 단순하다. 예시 입력 열 개쯤을 돌려 무엇이 나오는지 본다. 사람이 좋다 나쁘다를 매긴다. 그리고 더 중요한 것 — 왜 그렇게 매겼는지를 쓰게 한다.
이유가 명확하다. 그 사람 머릿속의 분야 지식을 끄집어내야 나중에 그것을 늘릴 수 있다는 것이다.
여기에 붙는 조언도 실무적이다. 두루 쓰는 채점 화면을 그대로 내밀지 말고 그 사람에게 아주 맞춰 만들라는 것이다.
다음 단계는 그 이유들을 모아 코딩 도구에 돌려 실패 갈래를 뽑아내는 것이다. 왜 나쁘다고 했는지가 그 안에 들어 있다.
갈래를 알고 나면 몇 사람의 안목에 매달리지 않게 그 지식을 늘리려 한다. 하나가 모델에게 심사를 맡기는 것이다.
여기서 경계가 붙는다. 모델에 심사복을 입힌다고 저절로 믿을 만해지지 않는다. 그러니 심사한 결과도 평가해야 한다고 말한다.
전부 모델에게 맡기는 것도 아니다. 코드로 딱 잘라 잡을 수 있는 것이 있다고 말한다. 도구를 너무 많이 부른 경우, 토큰을 너무 많이 쓴 경우다.
질의응답에서 청중이 정면으로 묻는다. 결정적으로 매기는 쪽을 밀어야 하나, 모델 심사를 받아들여야 하나.
답이 또렷하다. 모델 심사를 받아들이되 그 심사가 같은 자리에서 사람이 내릴 판단과 맞는지를 평가하라는 것이다. 심사의 결과는 몇 갈래로 딱 떨어지니 정답 묶음을 만들기 쉽다는 이유를 덧붙인다.
내보낸 것을 되감아 다시 돌린다
이 단계에서 내보낸 데서 뜬 *자취를, 적어도 검수 단계의 것이라도 평가 묶음에 모으라고 말한다.
그리고 이 발표에서 가장 옮겨 갈 만한 한 줄이 나온다. 평가를 시험 돌리기로 생각하지 말고 내보낸 것을 다시 돌리는 일로 생각하라. 결국 확신을 갖고 싶은 대상이 실제로 도는 것이기 때문이다.
셋째 단계로 가면 단순한 모델 호출이 아니라 바깥 시스템과 주고받는 일이 생긴다.
도구를 둘로 나눈다. 맥락을 모아 오는 도구와 만들고 읽고 고치고 지우는 도구다. 뒤쪽이 문제를 만든다.
발표가 짚는 어려움이 둘이다. 하나는 그 입력이 만들어졌던 때 바깥 시스템이 어떤 상태였는지를 되살리기 어렵다는 것이고, 다른 하나는 따로 떼어 돌리면서 그 시스템을 건드리자니 실제 자료를 덮어쓸 수 없다는 것이다.
여기서 솔직하다. 완전히 풀린 문제가 아니라고 지금 말할 수 있다고 한다.
내놓는 방향은 이렇다. 에이전트 자취는 얼마든지 커질 수 있으니 그때 시스템이 어떤 상태였는지를 그 안에 잔뜩 밀어 넣고, 다시 돌릴 때 그것을 함께 넣는다. 저장소에 따라서는 그 시점 기준으로 되물을 수도 있다고 말한다.
잰 값이 하나도 없다. 네 단계를 밟았을 때 무엇이 얼마나 나아지는지가 없다. 고객이 몇 곳이고 그중 몇이 어느 단계인지도 없다.
열 개라는 수의 근거가 없다. 예시 입력을 그만큼 두라고 하면서 왜 그 수인지가 없다.
모델 심사가 사람과 얼마나 맞는지가 없다. 심사도 평가하라면서 자기네가 잰 일치도는 내놓지 않는다.
바깥 시스템 문제의 해법이 방향뿐이다. 자취에 상태를 밀어 넣는다는 것까지만 나오고, 그렇게 해서 얼마나 되살아나는지가 없다.
세부는 부스로 넘긴다. 묶어 보는 기법도 판 이야기도 아래층 부스에서 하겠다며 지나간다.
유효기간을 스스로 밝힌다. 빠르게 바뀌는 판이라 바탕 기술이 바뀌면 같이 자라야 한다고 말한다.
용어