1. 첫 판은 형편없었다

관측 회사를 세운 사람이 발표한다. 자막 안에서 자기 이름을 대지는 않는다.

여는 말이 솔직하다. 자기네가 만든 첫 에이전트는 형편없었다고 말한다. 두 해쯤 전, 이 분야에서 처음 해 본 것이었다.

바탕에 깔린 이야기는 관측의 자리가 바뀐다는 것이다. 예전에는 사람을 위한 것이었다 — 누르는 화면이고 들여다보는 그래프였다. 지금은 코딩 에이전트와, 관측 도구에 닿는 스킬이 붙은 모양이라고 말한다.

*텔레메트리를 시스템이 뿜는 연기에 빗댄다. 코드가 어느 길로 갔는지 알려 주는 것이고, 그것이 없으면 에이전트는 짐작만 한다. 갈 수 있었던 길이 수백만 갈래이기 때문이다.

2. 병목이 옮겨 갔다

지금은 사람이 고치고 사람이 본다고 말한다. 여기서 걸리는 것이 있다.

에이전트 속도로 만들 수는 있는데 그 속도로 시스템을 고치지는 못한다. 만드는 쪽에만 속도가 붙어 제동이 걸린 것처럼 느껴진다는 것이다.

그래서 진단이 나온다. 막힌 자리는 이제 고치는 일이 아니다. 이 수정이 맞는 것인지, 이걸 밀어도 되는지에 대한 확신 쪽이다.

3. 루프를 뒤집는다

내놓는 답이 순서를 뒤집는 것이다. 사람이 보고 에이전트가 고치던 것을, 에이전트가 먼저 자료를 보고 이슈를 올려 두면 사람이 그것을 보고 일어나는 쪽으로 바꾼다.

바뀌는 것은 사람이 하는 일이다. 티켓을 집으러 가던 데서, 앉기도 전에 근거가 앞에 놓여 있는 데로 옮긴다. 그래서 대응하는 사람에서 검토하는 사람으로 자리가 바뀐다고 말한다.

다만 과장하지 않는다. 검토라기보다는 조사의 둘째 셋째 걸음을 사람이 끌고 가는 쪽에 가깝다고 덧붙인다. 그리고 고칠 것이 클수록 사람이 끝까지 밀어야 한다고 말한다. 중요한 것은 첫 삽을 대신 떠 주는 것이라는 쪽이다.

루프를 이루는 것으로 셋을 든다. 일을 시작시키는 사건, 스킬이 물어다 주는 맥락, 그리고 주기로 또는 사건마다 당기는 방아쇠다.

실제 사례도 든다. 자기네 에이전트가 어떤 흐름이 끊긴 상황에서 같은 갱신을 여러 번 부르다 오류를 냈고, 뒤에서 도는 도구가 그것으로 이슈를 올렸다. 한두 줄짜리 수정이었다.

4. 왜 그냥 연결하면 안 되나

질의응답에서 정면으로 묻는다. 코딩 도구를 그 자료에 그냥 연결해서 기록을 읽고 알아서 PR을 올리게 하면 안 되나.

답이 이 발표에서 가장 쓸모 있다. 잘 설계한 스킬이 필요하다는 것이다.

먼저 맞는 자료를 찾아야 한다 — 이를테면 어느 한 자리에 얽힌 기록 묶음이다. 그것을 파일 모양으로 저장소 안에 넣는다. 그래야 코드와 기록이 같은 자리에 놓이고 모델이 둘을 함께 놓고 볼 수 있다.

구체적인 예도 든다. 어떤 도구용 스킬은 메모리 문제를 찾을 줄 알고, 그 도구가 주는 갈래를 쓸 줄 안다. 고객별로 묶어 봐서 어느 고객이 문제를 만드는지 보기도 한다.

닫는 말이 요점이다. 모델을 자료에 겨누기만 하는 것으로는 안 된다.

5. 10배로 남긴다

앞으로 무엇이 달라지느냐는 대목이다.

기록과 평가가 사라지는 것이 아니라 순환의 한 부품이 된다고 말한다. 그러면서 수를 든다. 지금보다 열 배로 기록을 남기게 될 것이라는 것이다.

이유가 뒤집혀 있다. 예전에는 사람이 그 많은 기록을 다 뒤질 수 없어서 안 남겼다. 다 잡음이었기 때문이다. 그런데 읽는 쪽이 사람이 아니게 되면 훨씬 많이 남기는 편이 낫다는 것이다.

돌리는 자리도 옮겨 간다고 말한다. 노트북에서 따로 떼어 놓은 실행 칸으로 옮겨서 일정에 맞춰, 또는 오류가 날 때마다 당긴다.

여기서 현장 사정이 하나 나온다. 많은 고객이 운영 시스템을 바깥 모델 쪽에 직접 잇고 싶어 하지 않는다. 그래서 큰 회사들의 자기 망 안에 설치한다고 말한다.

6. 평가는 어디에 들어가나

청중이 또 묻는다. 운영에서 뭔가 깨졌다는 신호가 떴을 때 평가는 어디서 들어오나.

답은 이렇다. 평가는 대개 운영에서 뜬 기록 위에 얹혀 돈다. 그리고 에이전트가 그 기록에서 평가 결과를 가져와 모아 볼 줄 안다.

그러면서 지금 평가를 첫 세대 수준이라고 스스로 부른다. 모델을 심사자로 세워 주기적으로 시스템을 재는 것이고, 전에 겪은 실패를 잡으려고 만든다는 것이다. 이 방식은 규모 있게 돌 수 있어서 자료 전체에 얹어 돌리는 고객도 있다고 말한다.

닫는 말은 이렇다. 관측 판이 신호만이 아니라 고치는 일 자체에 묶이기 시작했다.

7. 발표가 밝히지 않은 것

잰 값이 하나도 없다. 뒤집은 순환으로 무엇이 얼마나 빨라졌는지, 올라온 이슈 중 얼마가 쓸 만했는지가 없다.

열 배의 근거가 없다. 그만큼 남기라면서 그 값이 얼마인지, 지금 얼마를 남기는지가 없다.

올린 이슈가 맞았는지가 없다. 사례로 든 한두 줄짜리 수정 말고는 헛다리를 얼마나 짚는지가 나오지 않는다. 병목을 「이 수정이 맞나」로 진단해 놓고 그 확신을 얼마나 주는지는 재지 않는다.

견줄 대상이 없다. 사람이 먼저 보는 방식과 나란히 놓고 잰 자리가 없다.

아직 한 판에서만 된다. 이 기능이 지금은 자기네 서비스 판에서만 쓸 수 있다고 밝힌다.

자막이 이름을 뭉갠다. 회사와 제품과 상대 회사 이름이 여러 군데 어긋나 있어 정확한 표기는 원문에서 갈린다.