Semi Doped 진행자 둘, Austin Lyons(이하 진행자A)와 Vik Sekar(이하 진행자V)가 게스트 없이 데이터센터 네트워킹 한 회차를 냈다. 슬라이드를 띄워 두고 하나씩 설명하는 형식이라 랙 사진과 그래프 설명이 많고, 한 회사의 제품보다 업계 전체가 서 있는 갈림길이 축이다. 이 글은 그 대화에서 업계에 무엇이 보이는지를 읽는다.
진행자V는 회차를 열면서 먼저 진단부터 내렸다. "오늘의 연산 능력은 실리콘 자체의 성능보다 CPU 와 GPU 를 데이터센터 안에서 어떻게 이어 놓느냐에 더 묶여 있다". 세상에서 가장 큰 컴퓨터는 상자 하나에 담기지 않는다. 데이터센터 한 채가 통째로 그 컴퓨터이고, 그 안의 칩 전부를 하나의 컴퓨터로 움직이게 하는 능력은 연산 능력보다 훨씬 느리게 커져 왔다.
진행자V는 계보부터 훑었다. CPU 코어 하나의 성능을 따지던 시절에서 멀티코어로 갔고, 서버 칩에 256코어까지 담는 데까지 왔고, 그다음이 가속 카드였다. 그 시절의 가장 단순한 형태는 Nvidia SLI 로 GPU 두 장을 다리로 이어 하나처럼 쓰는 것이었는데, 지금은 "LLM 때문에 GPU 10만 장을 하나로 만들어야 한다". 두 장에서 10만 장으로, 같은 문제가 커진 것이다.
진행자A가 보탠 것은 이렇다. 이건 학습만의 이야기가 아니다. 추론도 GPU 72장짜리 스케일업 도메인으로 가고 있고 그 너머로도 간다. 전문가 혼합(모델 안에 전문가 여럿을 두고 토큰마다 일부만 쓰는 구조)으로 10조 파라미터를 쓴 최전선 모델에서는 프리필(입력을 한꺼번에 밀어 넣는 구간)과 특히 디코드(토큰을 하나씩 내는 구간)가 메모리 대역폭을 가능한 한 다 요구한다. "이게 학습만의 이야기라고 생각하게 두지 말라"고 당부했다.
망의 층 — 안에서 밖으로
데이터센터 망은 세 층이다. ① 스케일업은 랙 하나 안에서 아래에서 위로 GPU 를 다 잇는다. 랙 높이는 키 큰 성인의 키쯤, 2미터 안팎이다. ② 스케일아웃은 각자 스케일업 망을 가진 랙들을 서로 잇는다. 슈퍼팟 하나면 동서로 열두 랙쯤을 가로지른다. ③ 스케일어크로스는 30~80킬로미터 떨어진 다른 캠퍼스까지 잇는다. 진행자V는 "그래서 각 층에 쓰이는 기술이 상당히 다르다"고 요약했다.
거리로 갈린 것처럼 보이지만 진행자A가 다시 잡은 경계는 지연이다. 스케일업은 "내가 얼마나 많은 다른 GPU 와, 서로 메모리를 나눠 쓴다고 느껴질 만큼 낮은 지연으로 이야기할 수 있느냐"로 정의된다. 그래서 이웃한 두 랙에 걸친 스케일업 도메인도 기술적으로 가능하다. 옆 랙 GPU 의 메모리를 자기 것처럼 읽는 느낌이 유지되기만 하면 된다. 반대로 30미터 떨어진 랙은 스위치를 몇 번 거치는 순간 그 느낌이 깨지므로 아예 다른 방식으로 주고받는다.
이 정의에서 이 글이 읽는 것은 이렇다. 스케일업은 물리적 상자로 고정돼 있지 않다. 조건만 맞으면 어디서든 선다. 랙 안으로 시장을 잡아 온 계산은 도메인이 랙 둘에 걸치는 순간 다시 서야 한다. 층 이름도 늘어나는 중이다. 컴퓨트 트레이(랙에 밀어 넣는, GPU 두 장 남짓이 들어가는 판) 안쪽을 다루는 스케일인과, 광섬유 대신 위성 주파수로 잇는 우주의 스케일어보브(이쪽은 진행자A가 설명했다)가 그것인데, 둘 다 "보통의 데이터센터 네트워킹 대화 바깥"이라고 진행자V가 선을 그었다.
진행자V가 랙 사진을 놓고 센 수가 이 회차에서 가장 값이 크다. GPU 72장을 모두가 모두와 잇자면 72의 제곱쯤이 되어 랙 하나에 케이블 5,000개가 조금 넘게 들어가고, 그 길이를 다 더하면 2킬로미터쯤 된다(어디선가 읽은 수라고 진행자V가 밝혔다). 속도는 Blackwell 세대에서 레인당 초당 200기가비트이고, Rubin 세대에서는 케이블 하나에서 양방향으로 동시에 흐른다.
진행자A는 이 그림을 시장 크기의 대리 지표로 읽었다. 랙 안은 케이블이 빽빽하고, 랙과 랙 사이로 나가면 줄고, 캠퍼스 사이로 가면 더 준다. 그가 든 비유가 도로다. 도시를 잇는 고속도로가 눈에 띄지만 실제로 길이가 가장 긴 것은 집집을 잇는 마을 안 도로다. 그래서 광학 업체들이 스케일업에 들어가고 싶어 하는 이유가 사진에 그대로 보인다. 그들이 이미 발 디딘 스케일아웃과 스케일어크로스에는 연결 수가 적다.
케이블 수는 반대편에서 성능의 천장으로도 돌아온다. 진행자A는 NVLink 스위치 하나가 정보를 넘기는 데 걸리는 시간에 전문가 혼합 모델이 정보를 주고받아야 하는 횟수를 곱하면 추론에 걸리는 최소 시간이 나온다고 계산 방식을 보였다. 그렇게 나온 사용자 한 명당 초당 400토큰은 "연산에 묶인 것이 아니라 데이터 이동에 묶인" 한계다. 다만 그가 스위치 지연으로 든 수는 "이를테면"이라고 붙인 예시값이다. 이 천장이 Cerebras 처럼 웨이퍼 한 장에 모델 가중치를 다 담아 이동 자체를 없애는 설계가 서는 지점이다.
속도 세대 — 겹쳐서 간다
속도 세대는 겹쳐서 간다. 진행자V가 그래프를 읽어 준 순서는 이렇다. 2020년대 초에는 100·200기가 망이 대부분이었고, 2023~2024년에 400기가가 떠올랐으며, 이어 800기가가 들어와 크게 늘었고, 그래프대로면 400기가는 2025~2026년에 스러진다. 그다음이 1.6테라 세대다.
진행자A가 붙인 단서 둘이 이 그래프를 읽는 법이다. ① 1.6테라는 합산 대역폭이라 레인당 200기가짜리 여덟 레인일 수 있다. ② 1.6테라는 이제 시작이고 800기가와 400기가가 아직 많이 깔려 있다. 실적 발표에서 최신 세대 이야기만 듣다 보면 이미 갈아탄 것처럼 들리지만 그래프는 그렇지 않다.
여기서 업계에 보이는 것은 분명하다. 두 배 뛸 때마다 같은 일이 되풀이된다. 먼저 닿으려는 경쟁이 붙고, 트랜시버든 공급망의 다른 어느 구간이든 부품당 값을 더 받을 근거가 생긴다. 최전선이라 하이퍼스케일러가 1.6테라에 800기가보다 더 낸다. 그리고 먼저 못 가도 뒤 세대에서 벌 것이 남는다. 다음 세대가 3.2테라가 아닐 수도 있다는 이야기도 나왔다. 레인당 300기가로 2.4테라를 한 번 거칠 가능성이 업계에 돈다고 들었고, TPU 팟에 온갖 종류의 연결이 필요한 구글이 밀고 있다고 진행자V는 전했다.
이 층위의 원칙을 진행자V는 한 문장으로 요약했다. "쓸 수 있으면 구리, 꼭 써야만 할 때 빛". 구리는 싸고 전력을 적게 먹고 수십 년 동안 잘 작동해 왔으니 피할 수 있으면 굳이 다른 것을 할 이유가 없다.
PCB 층수 — 25층과 78층
그런데 속도가 오르면 구리 케이블이 거리를 못 버틴다. Nvidia 가 다음 세대 랙에서 택한 답은 거대한 PCB 를 한 장 만들어 한쪽에 연산을, 다른 쪽에 네트워킹을 붙이고 연결을 전부 기판 안에서 끝내는 것이다. 데이터센터용 PCB 가 보통 25층쯤인데 이 기판은 78층으로 알려져 있다. 진행자V가 든 그림은 대도시의 입체 교차로다. 북에서 동으로, 남에서 서로 가는 길이 서로 부딪히지 않고 위아래로 지나가야 하는데, 이걸 78개 층으로 처리한다.
여기서 보이는 것은 구리를 지키는 값이 층수로 환산돼 나왔다. 25층 대 78층, 세 배가 그 값이고(세 배는 이 글의 셈이다), 만들기가 매우 어려워 업계에서는 이게 만들어질 수 있느냐 없느냐를 두고 갈린다. 진행자V는 판단을 유보하면서도 성격은 분명히 했다. "이건 정말 구리 쪽 이야기를 밀어붙이는 것"이고, 그렇게까지 하는 이유는 "당연히 광학으로 가는 것을 피하고 싶어서"다. 이 글이 여기서 읽는 것은 두 가지다. 광학을 피하는 값을 78층까지 낼 만하다고 본 회사가 있고, 그 값이 광학 쪽 문턱의 높이를 거꾸로 알려 준다.
광학 링크 하나가 하는 일은 단순하다. 보내는 쪽에서 레이저를 켜고 끄고(강도 변조: 1이면 켜고, 0이면 끈다), 받는 쪽에서 포토다이오드가 빛을 다시 전자로 바꾼다. 레이저에는 구동 칩이, 포토다이오드 뒤에는 증폭기가 붙는다. 거리가 길면 여기에 DSP(디지털 신호 처리기)가 더 붙는다. 비트가 뒤집혀 도착하는 일이 있어서, 패리티 비트로 앞의 열 비트가 맞게 왔는지 검산하고 틀린 비트를 찾아 고친다. 진행자V는 "이 전부가 전력을 먹는다. 이것이 정말 필요할 때만 쓰려는 가장 큰 이유"라고 정리했다.
플러거블이 스케일업에서 밀리는 셈
전력을 수로 보면 문턱의 높이가 나온다. 플러거블 모듈 하나가 30와트쯤이고(진행자V의 어림), 케이블 하나에 양 끝으로 둘이 필요하며, 케이블은 랙 하나에 5,000개다. 그런데 랙은 이미 100~200킬로와트를 쓰고 Kyber 세대는 600킬로와트로 이야기되며 앞으로는 1메가와트 랙을 만들려 한다. 이미 전력에 눌린 랙에 10~20퍼센트를 더 보탤 이유가 없어서, Nvidia 는 컨퍼런스마다 스케일업에 플러거블을 쓰지 않겠다고 분명히 말해 왔다고 진행자V는 전했다.
광 엔진을 스위치 칩 쪽으로 당기기
그 전력이 어디서 새는지가 해법을 정한다. 플러거블은 스위치 앞판에 꽂히는데, 앞판에서 스위치 실리콘까지 기판 위를 길게 지나야 한다. 레인당 200기가 이상에서는 이 경로가 신호에 너무 나빠서 DSP 로 메워야 하고, 그 DSP 가 전력을 먹는다. 그러면 트랜시버를 상자 밖에 두지 않고, 안쪽 스위치 가까이에 두면 된다. 같은 보드 위에 올리는 것이 근접 패키지 광학이고, TSMC 의 CoWoS 나 인텔의 EMIB 같은 첨단 패키징으로 바로 옆에 붙여 버리는 것이 공동 패키지 광학(CPO)이다. 이렇게 하면 구리 구간은 칩과 광 엔진 사이의 아주 얇은 조각만 남는다.
값은 3분의 1이다. 진행자V는 "플러거블 트랜시버로 쓰던 에너지의 3분의 1까지 떨어뜨릴 수 있다"고 했고, 그래서 "갑자기 광학이 스케일업에 흥미로운 기술이 됐다". 막는 것은 신뢰성이다. 광 엔진 안의 레이저는 온도에 약해서 죽는다. 죽으면 광 엔진만 따로 갈아 끼울 수 없어서, 2나노 공정으로 만든 수천 달러짜리 스위치 실리콘까지 통째로 버려야 한다. 그래서 업계가 지금 밟는 순서는 둘이다. ① 가장 잘 죽는 레이저만 랙 밖으로 빼고 나머지는 안에 둔다. ② 그래도 걸리는 것이 남으면 한 걸음 물러나 근접 패키지 광학으로 간다. 십 년쯤 이야기됐는데 아직 시장에 안 나온 이유가 이것이다.
값의 성격부터 밝혀 둘 것이 셋이다. ① 랙 하나의 케이블 5,000개와 2킬로미터는 진행자V가 어디선가 읽었다고 밝힌 수다. ② 모듈 30와트는 "내 생각엔"이 붙은 어림이고, 78층도 "그렇게 알고 있다"로 말했다. ③ 진행자A가 추론 시간 계산에 넣은 스위치 지연은 계산 방식을 보이려고 든 예시값이다. 세 수 모두 방향을 보기에는 충분하지만 모형에 그대로 넣을 수는 없다.
회사 이름은 나왔지만 값이 없다. Credo 는 XAI Colossus 2 사진의 보라색 케이블 이야기로만 나왔고, Corning 은 광섬유를 만드는 데로 이름만 언급됐으며, Broadcom·Marvell 은 스케일업 이더넷 스위치를 살 수 있는 데로 나온다. 점유율도 가격도 물량도 이 회차에 없으므로 3절의 시장 크기 이야기는 케이블 수가 많다는 방향까지만 서 있다. 표준 쪽도 마찬가지다. NVLink 에 맞선 UALink 와 스케일업 이더넷(진행자A는 ESUN 으로 기억한다고 했다)이 아직 만들어지는 중이라는 사실만 나오고, 어느 쪽이 언제 서는지는 다루지 않았다. 스케일인은 오늘 깊이 다루지 않겠다고 진행자V가 명시했다.
무엇이 나오면 이 글의 판단이 바뀌는지는 셋이다. ① 78층 미드플레인이 실제로 양산되면 5절이 뒤집힌다. 구리가 다음 세대를 한 번 더 버티면 광학이 스케일업으로 들어가는 시점이 통째로 미뤄진다. 반대로 못 만들면 6절의 순서가 앞당겨진다. ② 광 엔진의 수명 수치가 나오면 6절이 정해진다. 지금 CPO 를 막는 것은 성능이 아니다. 죽는 빈도가 막고 있는데, 그 빈도가 이 회차에 없다. ③ 레인당 300기가짜리 2.4테라 세대가 실제로 서면 4절의 두 배씩 뛰는 주기가 깨진다. 세대 간격이 좁아지면 먼저 닿아 값을 더 받는 구간도 그만큼 짧아진다. 진행자V가 회차를 닫으며 남긴 것도 결국 시점이다. 스케일업과 스케일아웃을 전부 광학으로 잇는 것이 "네트워킹의 성배이고 업계가 그리로 가고 있는데, 언제냐가 큰 물음으로 남는다. 아무도 모른다".