에이전트를 한 해 넘게 만들어 온 팀이 쓰는 바닥을 풀어놓음. 상태를 그대로 쥐는 실행 단위 위에, 받은 코드 문자열을 그 자리에서 가둬 돌리는 새 부품을 얹는 구조. 가두는 방향이 흔한 방식과 반대라는 것(아무것도 못 하는 데서 시작해 하나씩 연다), 새로고침해도 받던 것이 이어지는 이유, API 엔드포인트 2600개를 토큰 1000개로 줄여 노출한다는 예고, 그리고 값이 싼 것은 10년 전 인프라 결정 때문이라는 설명이 나옴.
한줄 코멘트. 가두는 방향을 뒤집었다는 대목이 이 발표에서 가장 옮겨 갈 만하다. 통째로 도는 판에서 위험한 것을 막아 나가는 대신, 아무것도 못 하는 데서 시작해 나갈 곳만 지정해 연다. 나머지는 자기네 제품 이야기이고 잰 값이 거의 없다.
에이전트 팀에서 일하는 두 사람이 나온다. 진지하게 만들기 시작한 지 한 해가 조금 넘었다고 말한다.
깔아 두는 예가 단순하다. 흔한 *서버리스로 방문 횟수 세는 것을 만들면, 내 컴퓨터에서는 되는데 올리는 순간 실패한다. 세는 값이 거의 늘 0으로 남는다.
그래서 만든 것을 상태를 쥔 서버리스라고 부른다. 스스로 가장 헷갈리는 이름이라고 인정한다 — 원래 서버는 상태를 쥐는 것이기 때문이다.
에이전트에 이것이 맞는 이유로 주소를 갖는다는 점을 든다. 부를 자리가 정해져 있다는 뜻이다.
지연도 든다. 런던에서 15밀리초라고 말하며 화면이 초당 예순 번 바뀔 때의 한 칸이 16밀리초 남짓이라고 견준다.
가두는 방향이 반대다
가둔 자리를 어느 쪽에서 만드나
새로 든 부품이 이것이다. 고객이 보냈든 모델이 지어냈든 코드 문자열을 받아, 따로 가둔 자리에서 그대로 돌린다.
가두는 방향이 뒤집혀 있다. 흔한 방식은 통째로 도는 판에서 시작해 위험한 것을 막아 나가는 쪽인데, 여기서는 자바스크립트만 돌 뿐 바깥으로 나가는 길도 API도 처음엔 하나도 없다. 필요한 것만 지정해 연다 — 이를테면 어느 한 곳으로 나가는 요청만 허용하는 식이다. 환경 변수는 그 코드에 안 보인다.
한계도 그 자리에서 밝힌다. 온전한 파일 체계가 없고, 통째로 도는 판만큼 무겁지도 않다.
이 대목을 두고 하지 말라고 배운 그것을 가져와 부품으로 만든 셈이라고 말한다.
현장 반응이 갈린다는 일화도 든다. 어느 스타트업 쪽 사람은 어느 기업도 지어낸 코드를 돌리게 두지 않을 것이라고 했는데, 큰 방산 회사에서 온 사람은 그런 것을 좋아한다고 했다는 것이다.
끊겨도 이어진다
상태를 서버 쪽이 쥐면 딸려 오는 것들을 든다.
모델이 긴 답을 흘려보내는 중에 화면을 새로 고쳐도, 그 자리에 다시 붙어 앞부분을 받고 뒤를 이어서 받는다.
그래서 탭 여럿과 기기 여럿이 저절로 같은 것을 본다고 말한다.
여기서 남의 제품을 예로 든다. 어느 대화창은 링크를 나눠 둘이 같은 대화에서 함께 일할 수가 없는데, 그것은 그쪽이 그렇게 안 만들었기 때문이라는 것이다.
더 나아가 코딩 에이전트의 뒷단을 이 위에서 돌리면 터미널이든 폰이든 웹이든 어느 쪽에서도 같은 자리에 붙을 수 있다고 말한다. 그런 것을 지금 만들고 있고 곧 내고 싶다고 밝힌다.
발표가 든 쓰임과 부품
| 무엇 | 어떻게 |
|---|---|
| 정해진 때에 스스로 | 금요일 밤에 기록을 훑어 모아 보내는 식 |
| 도구 서버 | 오래 붙어 있는 연결을 쉽게 유지한다 |
| 담아 두기 | 그 안의 작은 데이터베이스와 저장소를 쓴다 |
| 언어 | 자바스크립트와 파이썬이 앞자리, 나머지는 변환해서 |
파이썬은 아직 다듬을 자리가 남았다고 스스로 말한다. 요즘은 다른 언어를 실험 중인데 변환한 꾸러미가 훨씬 작아서 좋다고 한다.
예고도 붙는다. 도구 서버에 코드로 시키는 방식을 얹으면 엔드포인트 2600개를 토큰 1000개 안에 넣어 열 수 있다는 것이다. 자세한 것은 각자의 다른 발표에서 하겠다며 넘긴다.
마지막에 값 이야기가 나온다.
큰 데이터센터를 짓지 않는다. 대신 통신사 가까이에 장비를 두고 대역폭을 크게 묶어 산다는 것이다. 10년 전 결정 덕이라고 말한다.
무료 말고는 월 5달러이고, 그 위에 큰 서비스를 짓는 사람들도 안다고 덧붙인다.
경쟁 제품도 여럿 이름 대며 자기 것만 쓸 필요는 없다고 말한다.
잰 값이 거의 없다. 15밀리초 말고는 성능 수치가 없다. 가둬 돌리는 부품이 얼마나 빨리 뜨는지, 얼마나 드는지가 없다.
2600과 1000은 예고다. 이 자리에서 보여 준 것이 아니라 다른 발표에서 하겠다고 넘긴 수다. 무엇을 잃고 그렇게 줄였는지도 없다.
규모를 뭉갠다. 얼마나 늘어나느냐는 대목에서 수백만이든 수조든 터무니없는 수라고 웃으며 넘어간다.
뚫린 적이 있는지 없다. 기본값이 거절인 구조를 내세우면서 실제로 시험당한 결과가 나오지 않는다.
세부는 블로그와 각자의 발표로 넘긴다. 시간이 모자라 다 설명할 수 없다며 여러 번 미룬다.
자막이 이름을 크게 뭉갠다. 제품과 회사 이름이 여러 군데 어긋나 있어 정확한 표기는 원문에서 갈린다.
용어