1. 무엇을 끝내겠다는 것인가

취향을 다루는 회사를 세운 사람이 발표한다. 얼마 전에야 밖으로 나온 회사라고 밝힌다.

AI가 코딩과 수학에는 꽤 능해졌는데 디자인·창작 글쓰기·성격·감정 다루기에는 크게 뒤처져 있다고 연다.

여기서 뒤집는 말이 나온다. 코드가 잘 되는 것은 모델의 성질이 아니라 코드의 성질이라는 것이다. 코드는 쪼개지고, 확인되고, 돌아간다.

그래서 오늘 다룰 성질 둘을 든다. 첫째는 잴 수 있는 만큼만 할 수 있게 된다는 것이고, 둘째는 뒤에 나올 가운데로 모인다는 것이다.

2. 「훌륭하게」가 아니라 「브랜드에 맞게」

좋은 디자인이 무엇이냐고 물으면 답이 갈린다고 말한다. 누구를 위한 것인지, 어떤 자리인지에 따라 다르다. 같은 장표가 스타트업에는 훌륭하고 금융회사에는 부적절할 수 있다. 게다가 좋음의 기준이 시간과 함께 바뀐다 — 코드와 수학에는 없는 성질이다.

그래서 문제를 바꿔 든다. 「훌륭한 것을 만들라」는 어렵고 「브랜드에 맞는 것을 만들라」는 훨씬 정의하기 쉽다.

브랜드를 빛깔과 글꼴과 움직임과 결로 쪼갠다. 쪼갠 것이 *그라운드 트루스가 된다.

그러고 에이전트에게 그 브랜드를 따르되 완전히 새로운 페이지를 만들라고 시킨다. 채점은 원본과 견주는 것이 아니라 쪼개 둔 조건을 지켰나로 한다.

모델에게 심사를 맡기는 것은 어렵다고 말한다. 점수를 따먹으려 드는 일이 많고 지어내는 무늬도 있다는 것을 알고 있다고 한다.

디자인 안에서도 자리마다 다르다

프로그램으로 확인할 수 있는 쪽에 가까울수록 강화학습으로 다루기 좋다고 말한다. 반대로 브랜드에 맞느냐 같은 것은 사람이 판단하는 편이 낫다고 말한다. 사람의 판단이 아직 어떤 모델 심사보다 훨씬 위에 있다고 본다는 것이다.

3. 평균이 최적이 아니다

둘째 성질이다. 모델은 다음에 올 가장 그럴듯한 것을 고르고 그것이 이상적인 답이라고 친다.

2 더하기 2를 물으면 가장 그럴듯한 답이 곧 맞는 답이고 최적인 답이다. 글이나 디자인은 다르다. 가장 그럴듯한 것이 최적인 것과 겹치지 않는다.

이 발표가 슬롭을 설명하는 자리가 여기다. 뛰어난 것과 창의적인 것은 분포의 양 끝에서 나온다 — 규칙과 무늬를 일부러 깰 때다. 가운데로 모이고 되풀이되니 둘러싸인 것이 다 비슷해 보인다는 것이다.

그래서 분포를 다시 넓히려고 매체와 스타일이 서로 다른 전문가 천 명 남짓의 무리와 함께 일한다고 말한다.

4. 사람의 불일치가 데이터다

이 발표에서 가장 쓸 만한 규칙이 여기 있다.

예전에는 여러 사람에게서 선호를 걷었는데, 그 사람이 누구인지 무엇을 왜 언제 좋아하는지를 모른 채 걷었다. 그러니 서로 어긋나는 선호가 섞여 다시 가운데로 모였다.

세상은 선호가 여럿인 곳이고 맞는 짝을 지어 주는 일을 이해해야 한다고 말한다.

전문가가 갈렸을 때 무엇으로 읽나

데이터 품질을 올리는 방법으로 둘을 더 든다. 하나는 전문가가 얼마나 구체적인 말로 짚느냐다. 말이 정밀할수록 데이터가 좋다는 것이다. 다른 하나는 그 말을 코드의 정확한 그 자리에 묶는 것이다. 그러면 잡음이 훨씬 줄어든다.

닫는 말은 양보다 질이다. 좋은 데이터를 만드는 일은 비싸고 어렵다고 스스로 말한다.

5. 발표가 밝히지 않은 것

잰 값이 하나도 없다. 이 방식으로 모델이 얼마나 나아지는지, 슬롭이 얼마나 줄어드는지가 나오지 않는다.

되먹임이 안 온다고 발표자가 자인한다. 연구소와 함께 일할 때 무엇이 무엇을 바꿨는지 알려 주는 고리를 못 받는 일이 잦다고 말한다. 그래서 자기가 쥘 수 있는 데이터 품질 쪽에 매달린다는 것이다. 이 방식이 결과에 얼마나 닿았는지 본인도 모른다는 뜻이다.

천 명이라는 수 말고 다른 수가 없다. 얼마나 걷었는지, 그중 얼마가 쓰였는지가 없다.

견줄 대상이 없다. 사람 판단이 모델 심사보다 훨씬 위라고 말하는데 나란히 놓고 잰 자리가 없다.

뒷이야기를 다음 자리로 넘긴다. 에이전트 쪽 이야기는 다음 날 다른 자리에서 하겠다고 말하고 넘어간다.