같은 지식그래프에 두 가지로 물어 본 대조. 닮은 것을 찾고 그 옆을 한 번 더 보는 방식은 빨랐지만 얕았고, 에이전트가 먼저 구조를 물어본 뒤 질의를 여러 번 던지게 하니 번호와 심각도와 고쳐야 할 판까지 나왔음. 얽힌 사실이 둘 이상일 때만 그래프가 값을 한다는 선 긋기, 권한을 그래프에 얹어 보는 사람마다 다른 것을 보게 하는 활용, 그리고 시연 도중 발표자 스스로 오타를 냈다고 밝히는 대목이 있음.
한줄 코멘트. 한 번의 닮은 것 찾기로 끝나는 물음이면 그래프가 필요 없다는 선 긋기가 이 발표에서 가장 쓸모 있다. 값을 하는 자리는 얽힌 사실이 둘 이상일 때다. 뒤쪽 시연에서 같은 자료로 훨씬 상세한 답이 나오는데, 그 차이가 캐묻는 횟수에서 났다는 것이 눈에 띈다. 다만 잰 값은 하나도 없다.
그래프 데이터베이스 회사에서 개발자 쪽을 맡는다는 사람이 발표한다.
여는 진단이 이렇다. 한 번의 영리한 문구로 결과를 바꾸던 데서 더 넓고 움직이는 것을 모델에 넣어 주는 쪽으로 옮겨 가고 있다는 것이다.
문제도 짚는다. 맥락 창은 커졌는데 정작 중요한 자리에 눈길이 안 간다.
그래서 세우는 말이 이것이다. 프롬프트 짜는 사람이 아니라 정보를 설계하는 사람처럼 생각하라.
다루는 범위로 넷을 든다. 프롬프트, 밖에서 찾아와 붙이기, 상태와 이력, 그리고 나오는 모양을 잡아 주는 것이다.
기억은 둘로 나눈다. 지금 하는 일을 눌러 담는 짧은 쪽과, 여러 대화에 걸쳐 배운 것에서 뜻과 구조를 뽑아 두는 긴 쪽이다. 짧은 쪽에는 단서가 붙는다 — 도구가 쏟아 낸 것을 지난 것까지 너무 많이 넣지 말라.
*지식그래프를 사람·자리·일·물건을 나타내는 마디와 그 사이의 관계로 설명한다. 마디에는 속성을 붙일 수 있고 임베딩도 거기 붙일 수 있다고 말한다.
깔아 두는 한 줄이 있다. 넣는 자료가 나쁘면 나오는 답도 나쁘다.
그래프를 검색에 끼우면
정의는 넓게 잡는다. 찾아오는 과정에 그래프를 쓰면 다 여기에 든다.
닮은 것만 골라 오는 것보다 나은 이유로 관계와 무리 짓기 같은 것을 함께 쓰기 때문이라고 말한다.
값나가는 대목이 하나 더 있다. 모델에 넘어간 대목이 그래프에 남으니 왜 그렇게 답했는지 되짚을 수 있다.
권한 이야기도 실용적이다. 누가 보느냐에 따라 다른 것만 보이게 그래프에 얹을 수 있다며, 진료 기록에서 의사는 진단을, 행정 담당자는 연락처만 보게 하는 예를 든다.
같은 그래프, 다른 캐묻기
같은 그래프에 두 가지로 물었다
올려 둔 자료는 공급망 문서 하나와 어느 자바 라이브러리의 취약점과 영향받는 판, 고친 자리가 담긴 보안 문서 하나다. 넣으면 모델이 알아서 그래프를 지어 준다.
첫 시연은 닮은 것을 찾고 그 옆을 한 번 더 보는 방식이다.
여기서 사고가 난다. 그래프에 없는 라이브러리를 물어 거절이 나오길 기대했는데, 발표자가 이름을 잘못 말했다. 오타였다고 그 자리에서 밝힌다. 결국 거절하는지 보려던 시험은 실제로 돌지 않았다. 대신 모델이 사람 실수를 알아서 바로잡아 원래 라이브러리 정보를 끌어냈다.
둘째 시연은 코딩 에이전트에 그래프 질의 도구를 붙여 스스로 캐묻게 한 것이다. 순서가 눈에 띈다 — 먼저 그래프의 구조를 물어 파악한 뒤 질의를 여러 번 던지고, 마디에 달린 글 조각까지 끌어온다.
발표자가 직접 대는 비교가 이렇다. 앞의 방식은 비교적 빨랐지만 자세함이 제한적이었고, 뒤의 방식은 번호와 공격 유형과 심각도와 설명, 그리고 어느 판으로 올려야 하는지까지 내놓았다.
발표가 대는 선
| 물음의 성격 | 무엇으로 |
|---|---|
| 한 번의 닮은 것 찾기로 끝난다 | 보통 방식으로 충분하다 |
| 얽힌 사실이 둘 이상이다 | 그래프가 값을 한다 |
찾아오는 방식도 셋으로 나눈다. 미리 짜 둔 질의를 입구로 쓰는 것, 구조를 익혀 물음마다 질의를 지어내는 것, 그리고 답이 될 때까지 되풀이해 그래프를 도는 것이다.
같은 것을 기억에도 쓴다고 말한다. 마디에 글과 임베딩과 시간과 자리 같은 속성을 붙여 두고, 가까운 것 찾기나 무리 짓기나 중요도 매기기 같은 셈으로 가장 관련 있는 것을 위로 끌어올린다.
예로 든 물음이 구체적이다. 지난번에 누구와 함께 발표했던 자료를 고쳐 달라는 것이다. 그러면 사람 둘과 그 행사와 언제였는지까지 찾아 맥락으로 넘긴다.
에이전트 자체를 들여다보는 데도 쓴다고 말한다. 대화가 어떻게 흘렀는지 그려 보고, 성능 자료를 뜯어 고칠 자리를 찾고, 겹치는 마디를 지워 품질을 올린다.
잰 값이 하나도 없다. 앞의 방식이 얼마나 빨랐고 뒤의 방식이 얼마나 느렸는지가 없다. 자세함도 두 답을 눈으로 견준 것뿐이다.
거절 시험이 실제로 안 돌았다. 발표자가 이름을 잘못 말해 원래 보려던 것 — 그래프 밖 물음을 거절하는지 — 을 못 보였다.
시연이 한 물음씩이다. 두 방식 다 물음 하나에 대한 답으로 견줬다.
자료가 문서 둘이다. 큰 그래프에서도 같은 방식이 되는지, 그때 캐묻는 횟수가 얼마나 늘어나는지가 없다.
그래프를 짓는 값이 없다. 모델이 알아서 지어 준다고만 하고, 잘못 지었을 때 어떻게 되는지와 손보는 품이 얼마인지가 없다.
뒤가 자기 제품 안내다. 무료 강의, 컨퍼런스, 커뮤니티 사이트를 잇달아 소개하며 닫는다.
자막이 회사·도구 이름을 크게 뭉갠다. 회사 이름부터 질의 언어 이름까지 여러 군데 어긋나 있어 정확한 표기는 원문에서 갈린다.
용어