1. 신뢰는 팀 스포츠

두 사람이 나온다. 한 명은 제품 쪽이고 한 명은 엔지니어인데, 뒤쪽은 자막 안에서 자기 이름을 대지 않는다.

여는 말은 이렇다. AI를 사람들 손에 쥐여 주고 싶은데 따라붙는 걱정거리가 많다. 챗봇을 꾀어 하지 말아야 할 말을 하게 하거나 자료를 흘리게 만드는 일이 어렵지 않다는 것이다.

바탕도 넓다고 짚는다. AI를 만드는 일은 여러 패키지와 바깥 서비스가 얹힌 생태계 위에 지어진다.

기술자는 사람들이 믿고 건너는 다리와 댐을 만든다는 비유를 든다. 그런데 AI를 만드는 일은 아직 이르다고 말한다. 그래서 세우는 말이 믿음은 팀으로 만드는 것이다 — 보안과 위험을 다루는 전문가에게 기댄다는 뜻이다.

사내에 몇 해째 *레드팀 일을 해 온 팀이 있다고 말한다. 두세 해 전부터 이런 모델들을 꾀면 해서는 안 될 일을 하게 만들 수 있다고 지적해 온 쪽이라고 소개한다. 그 팀이 만든 도구를 쓰기 쉬운 형태로 감싸고 결과를 볼 화면까지 붙였다는 것이다.

2. 어떻게 속이나

수법을 몇 가지 든다.

곧이곧대로 나쁜 것을 물으면 많은 모델이 답을 거절한다. 그런데 그 앞에 긴 사연을 붙이면 설득이 되기도 한다.

다른 수법은 모양을 바꾸는 것이다. 같은 물음을 거꾸로 뒤집어 쓰면 통과하는 일이 있다고 말한다.

3. 말로 시켜 두드려 보기

첫 데모는 대화로 하는 방식이다. 갈래를 짚어 주면 에이전트가 험한 물음을 지어내고, 그것을 내 앱에 보내 어떻게 답하는지 본다. 그다음 글자를 인코딩해 바꾼 뒤 다시 보낸다.

발표자는 이것을 누구나 바로 시작할 수 있는 방식이라고 부른다.

여기서 정직한 대목이 나온다. 라이브 데모에서 도구 호출이 안 됐다. 두 번 그렇다고 말하고, 미리 돌려 둔 결과를 대신 보인다. 미리 준비해 뒀다고 그 자리에서 밝힌다.

두드릴 대상은 갈아 끼울 수 있다고 말한다. 물음을 받아 글로 답하는 앱이면 무엇이든 된다.

4. 통째로 훑기

두 번째는 한 번에 쓸어 보는 방식이다.

설정할 것은 대상과 자격, 위험 갈래, 그리고 몇 개나 던질지다. 갈래를 안 고르면 전부 넣는다. 여기에 공격 수법 목록을 붙인다. 글자를 뒤집는 것 같은 단순한 것들이 있고, 두 수법을 겹칠 수도 있다.

발표가 댄 결과

뚫린 사례 하나를 짚는다. 글자를 밀어 쓰는 옛 암호로 넣었더니 그쪽이 그것을 풀어서 답했다. 그래서 성공한 공격으로 셌다고 말한다.

한 번 훑는 데 예상 6분이 걸리고, 끝나면 결과로 바로 가는 주소를 보내 준다고 말한다.

5. 거르개는 모델 밖에 있다

이 발표에서 가장 또렷한 답이 청중 물음에서 나온다. 거르개가 답을 만든 뒤에 걸리나, 만들기 전에 걸리나.

답은 둘 다다. 들어오는 쪽에서 위험한 물음을 막는 거르개가 있고, 나가는 쪽에서 내면 안 될 것을 막는 거르개가 따로 있다.

그리고 못 박는다. 거르개는 모델 안에 있지 않다. 모델은 그대로이고 그 바깥에 선다.

닫는 말은 순서다. 내보낼 물건을 만들기 전에 위험을 먼저 그려 보고, 거르개를 계획해 넣고, 그다음 재라는 것이다. 두드려 봐서 20%가 통과한다는 것을 알게 되면 그때 거르개를 얹는다.

6. 발표가 밝히지 않은 것

두 수를 나란히 놓을 수 없다. 160번에 하나도 안 뚫렸다는 것과 25%가 뚫렸다는 것은 모델도 다르고 조건도 다르다. 하나는 거르개를 켠 것이고 하나는 다 뗀 것이다.

표본이 작다고 발표자가 직접 말한다. 160은 아주 작은 표본이라고 그 자리에서 밝힌다. 몇 갈래를 골랐는지도 「열 개쯤, 아니 다섯쯤」으로 흔들린다.

조금 줄었다는 것에 수가 없다. 거르개를 다 켠 뒤 뚫린 비율이 줄었다고만 하고 얼마인지가 없다.

라이브 데모가 두 번 실패했다. 도구 호출이 안 돼서 미리 돌려 둔 것으로 대신했다. 그러니 그 자리에서 실제로 도는 것을 본 사람은 없다.

공격 수법 목록을 문서로 넘긴다. 어떤 수법들이 있는지는 나중에 문서를 보라며 지나간다.

자막이 모델 이름을 크게 뭉갠다. 어느 판으로 무엇을 쟀는지가 여러 군데 어긋나 있어 정확한 표기는 원문에서 갈린다.