🎙️ Semi Doped

OpenAI가 Hot Chips에서 발표한 지 12시간도 안 돼 녹음한 회차로, 자체 추론(inference) 칩 Jalapeño의 설계 슬라이드를 처음부터 끝까지 훑는다. 진행자 두 사람(Austin, Vik)이 SemiAnalysis 벤치마크 기사를 화면에 띄워 놓고 사용자 경험·에너지 효율 중심 설계 철학, NUMA(비균일 메모리 접근) 방식 로컬 HBM, ESUN 스케일업 네트워킹, 9개월 설계 주기를 차례로 짚는다.

그 주 출시된 xAI의 에이전트형(agentic) AI 플랫폼 "Grok bot"을 계기로, 진행자 두 사람이 "GPU=천재(genius), CPU=비서(assistant)" 비유를 세워 호스트 노드 CPU와 새로 떠오르는 "에이전틱 CPU(agentic CPU)"의 차이를 정리한다. Mac Mini 열풍의 원인부터 코어 수·랙 구성·오케스트레이션 소프트웨어 부재까지 짚는다.

로이터가 8월 4일 보도한 트럼프 행정부의 중국산 광트랜시버(optical transceiver, 빛-전기 신호를 서로 변환해 데이터센터 장거리 구간을 연결하는 부품) 신규 수입 금지 추진안을 두 진행자가 기술적으로 뜯어본다. 이어 AMD의 2분기 실적과 예상 밖 자본지출(CapEx), 신생 컴퓨트 회사 Volta Infrastructure가 앤스로픽과 맺었다고 알려진 100억 달러 규모 딜의 금융 구조를 다룬다.

GlobalFoundries의 통신 인프라·데이터센터 담당 부사장 Tom Barber가 회사의 실리콘 포토닉스(Silicon Photonics, 빛으로 신호를 주고받는 반도체 기술) 사업 연혁과 300mm 웨이퍼 전환, 구리 배선의 한계, pluggable→NPO→CPO(co-packaged optics, 공동 패키지 광학) 전환 이유, OCI MSA(복수업체 합의 규격)가 PAM4 대신 NRZ 변조를 택한 배경, 자사 Scale 플랫폼과 실리콘 저메이늄(SiGe) 공정의 역할을 설명한다.

아스테라 랩스가 어떻게 리타이머(retimer, 구리 배선에서 죽어가는 고속 신호를 붙잡아 깨끗하게 재전송하는 칩) 하나로 엔비디아 H100 소켓을 따내 나스닥100 편입 기업이 됐는지, 그리고 이 기술을 스위치·CXL(컴퓨트 익스프레스 링크, 메모리 공유용 인터커넥트 표준) 사업으로 어떻게 확장하는지를 다룬다.

그 주(週) 반도체·AI 시장을 뒤흔든 뉴스 세 가지를 18분 분량으로 짚는다. 하이퍼스케일러(hyperscaler, 대형 클라우드 사업자) 부채에 대한 신용부도스와프(CDS) 스프레드 확대, SK하이닉스 실적 발표 후 주가 20% 급락, 중국의 이머전 DUV(액침 심자외선 노광) 장비 발표가 실제로 의미하는 바를 다룬다.

데이터센터 네트워킹을 스케일업·스케일아웃·스케일어크로스 세 층으로 나눠 구리와 광학의 경계선이 어디인지, 그리고 공동패키지광학(CPO)이 왜 다음 목표로 떠올랐는지를 다룬다.

PicoJool CEO Al Yuen 은 갈륨비소(GaAs, gallium arsenide) 기반 VCSEL(수직공동표면방출레이저, vertical-cavity surface-emitting laser)이 인듐인(InP, indium phosphide) 기반 단일모드(single-mode) 광소자보다 스케일업 인터커넥트(scale-up interconnect, 랙 간 짧은 거리 광통신)에 실용적이라고 주장한다. 근거는 25년간 월 수백만 개를 출하해 온 공급망이 이미 갖춰져 "제약 없음(unconstrained)"이라는 점이며, 회사는 200기가비트/레인 VCSEL 을 막 발표하고 8×200/16×100/32×50 세 가지 조합으로 1.6T 를 채운 뒤 2-D 배열과 양방향(bi-di) 파장으로 12.8T 까지 가는 로드맵을 제시한다.

WEKA의 Val Bercovici가 진행자 Vik Sekar와 함께, AMG(Augmented Memory Grid, WEKA의 NAND 기반 메모리 확장 제품)가 어떻게 NVLink 대역폭을 타면 DRAM보다 빨라지는지, DeepSeek V4의 캐시 읽기 가격이 왜 87배 낮은지, SLC(단일 레벨 셀)·QLC(쿼드 레벨 셀) NAND 계층이 추론에서 어떻게 재편되는지, CXL이 왜 시들해졌는지를 다룬다. 마무리는 소프트웨어 회사가 토큰 원가를 감당하려면 결국 뉴클라우드(중소형 GPU 클라우드)를 인수해야 한다는 전망이다.

오스틴 라이언스와 빅 세카르가 마이크론(Micron)의 기록적 분기 실적, 애플(Apple)의 가격 인상과 CXMT 공급 요청, 한국 정부의 메모리 투자, HBM(고대역폭메모리)이 왜 웨이퍼를 많이 먹는지, 그리고 AI 수요가 앞으로도 이어질지를 순서대로 짚는다.

퀄컴 인베스터 데이(뉴욕) 참관기를 다룬 회차다. 통신 중심에서 데이터센터·자동차·IoT로의 사업 다각화 목표, HBM(고대역폭 메모리, High Bandwidth Memory) 대신 로직 위에 LPDDR를 쌓는 HBC(고대역폭 컴퓨트, High Bandwidth Compute) 구조, 알파웨이브(Alphawave)·모듈러(Modular) 인수, C1000 CPU를 순서대로 짚는다.

TSMC의 CoWoS와 Intel의 EMIB를 축으로, 첨단 패키징(advanced packaging)이 왜 필요해졌는지부터 두 기술의 구조·트레이드오프, 그리고 구글 TPU 3백만 개가 MediaTek을 거쳐 Intel EMIB로 패키징된다는 최근 소식까지 다룬 회차. 레티클(reticle) 한계를 넘어서기 위한 실리콘 인터포저·유기 기판·브리지 세 갈래 해법을 병렬로 설명한다.

오스틴 라이언스와 빅 세카르가 대만 컴퓨텍스(Computex) 현장을 함께 돌아본 뒤 나눈 대화다. 마벨(Marvell) 기조연설에 깜짝 등장한 젠슨 황(Jensen Huang) 발언과 마벨 주가 반응, CPO(공동패키지광학, co-packaged optics)·XPO 모듈·800V 전원 데모, 인텔(Intel) 파운드리 관련 클리어워터 포레스트(Clearwater Forest) 발표까지 쇼장에서 본 것을 순서대로 짚는다.

Huawei가 ISCAS 2026(상하이)에서 EUV(극자외선 노광) 없이도 TSMC의 1.4nm급(14 angstrom 등가) 성능을 2031년까지 달성하겠다는 "tau scaling law" 논문을 발표했고, 인터넷에서는 이를 "EUV 킬러"로 해석했다. Austin과 Vik은 원래 목요일 녹음 일정을 화요일로 앞당겨 이 논문을 원문까지 읽고 분석했다.

DUV에서 EUV로 넘어온 리소그래피(lithography)의 경제학과 공학을 한 시간짜리 마스터클래스로 정리한 회차. 광원 파장의 역사, 멀티패터닝(multi-patterning)의 원리, EUV 미러의 실체, 그리고 xLight·Substrate 두 스타트업이 각각 자유전자레이저와 X선으로 판을 다시 짜려는 시도까지 다룬다.

Cerebras가 IPO(기업공개) 가격을 주당 185달러로 확정한 2026년 5월 14일 아침 녹음된 회차. 웨이퍼 스케일 엔진(WSE)의 구조·전력·냉각 방식, 1980년대 Trilogy Systems의 웨이퍼 스케일 실패담, OpenAI와의 토큰 판매 계약을 다뤘다.

Gimlet Labs 공동창업자 Natalie와 합류 5개월차인 Baltier가, 추론(inference) 워크로드를 잘게 쪼개 GPU·SRAM(정적 램) 가속기·CPU 등 서로 다른 벤더의 칩에 나눠 배정하는 오케스트레이션(작업 배치·조율) 소프트웨어로 추론 클라우드를 짜고 있다고 설명하며, D-Matrix Corsair를 GPU 옆에 붙여 처리량-지연 파레토 곡선(둘 사이 최선의 절충 지점을 이은 선)을 4배 밀어낸 실측 사례를 든다.

48V 랙 전원이 물리적 한계에 부딪히는 지점(600kW 랙에서 12,500A)을 짚고, 자동차용 800V 전력전자(파워 일렉트로닉스) 생태계를 데이터센터에 재사용해 전류를 낮추는 방향을 다룬다. 코히런트(Coherent)의 6인치 인듐인화물(InP) 웨이퍼 램프업 실적 발언도 함께 짚는다.

2026년 빅테크 캡엑스(설비투자) 상승분의 상당 부분이 컴퓨트(플롭스) 확대가 아니라 메모리·스토리지 가격 상승분을 메우는 데 쓰인다는 "메모리 택스" 프레임을 삼성·샌디스크 실적과 함께 짚고, 디렉SSD 중심 추론 흐름(DeepSeek v4)을 연결한다.

구글이 Cloud Next 2026 키노트에서 공개한 TPU v8(훈련용 8T·추론용 8I)이 칩뿐 아니라 네트워크 토폴로지까지 워크로드별로 완전히 다르게 설계됐다는 점을 스케일아웃(Virgo, OCS 기반)과 스케일업(3D 토러스 대 Boardfly) 두 축으로 짚는다.

메타의 광고 추천 인프라를 총괄하는 Matt Steiner가 광고 시스템의 두 단계(검색 — Andromeda, 랭킹 — Lattice)와 그 아래를 받치는 실리콘의 변천사를 설명한다. CPU에서 Nvidia와 co-design한 GPU로, 다시 추천 시스템 특유의 메모리·컴퓨트 비율 때문에 커스텀 칩 MTIA로 넘어간 과정과, LLM이 하드웨어별 커널을 직접 써 주는 최근 기법(AlphaEvolve/AlphaKernel)까지 짚는다.

Austin Lyons와 Vik Sekar가 이번 주 반도체 뉴스 중 포토닉스(광학)만 골라 짚었다. Credo가 7억5천만 달러 이상을 들여 이스라엘 실리콘 포토닉스 업체 더스트포토닉스(Dust Photonics)를 인수한 배경과, 공동 패키지 광학(CPO)이 몰고 올 스위치 실리콘 종속에 맞서 아리스타네트웍스가 내세운 소켓형 커넥터 XPO·CPX까지 정리했다. 앞부분에는 퀄컴에 NuVia를 매각한 창업자들이 다시 세운 CPU 회사 Nuvacore와 에이전틱 AI 시대의 CPU 품귀 이야기도 짧게 나온다.

Anthropic이 구독제 요금으로 에이전트 하니스 "오픈클로(OpenClaw)"를 상시 구동하는 것을 막자, Vik가 저가 모델·로컬 추론으로 옮겨간 경험담을 계기로 두 진행자가 에이전틱 AI의 토큰 비용 구조를 짚는다. 이어 인텔의 주가 반등과 인텔-SambaNova의 새 추론 아키텍처를 다루며, 그록(Groq)의 SRAM 전용 구조가 확장에서 갖는 한계를 대비시킨다.

구글 TPU(자체 AI 가속기) 팀 출신 라이너 포프(Reiner Pope)가 이끄는 MatX 는 가중치를 SRAM 에, KV 캐시(추론 중 문맥을 저장해 두는 공간, key-value cache — 전사에는 "KB cache"로 잘못 받아 적혔다)를 HBM 에 나눠 담는 하이브리드 메모리로 저지연(Cerebras·Groq 식)과 고처리량(엔비디아 식)을 한 칩에서 동시에 얻는다는 설계를 설명한다. 소프트웨어 종속이 이미 약해졌다는 진단, 프런티어 랩을 첫 고객으로 고른 논리, MoE(전문가 혼합, mixture-of-experts) 를 위한 인터커넥트 투자를 거쳐, 남은 가장 큰 과제는 기가와트급 생산 규모로 빠르게 올라서는 일이라고 마무리한다.

Austin Lyons(Chipstrat)와 Vik Sekar(Vik's Newsletter)가 그날 아침 올라온 인텔-일론 머스크 "테라팹(Terafab)" 협력 발표, OpenAI의 팟캐스트 TBPN 인수, 그리고 파이낸스 뉴스레터 Citrini Research가 애널리스트를 호르무즈 해협(Strait of Hormuz)에 직접 보낸 사연까지 세 가지 그 주 시황을 훑는다. 관통하는 물음은 하나 — 정보와 주목(attention)에 매겨지는 값을 정하는 게 머릿수인지, 그 청중이 쥔 결정권인지다.

이번 회차는 세 화제를 다룬다. 먼저 NVIDIA가 경쟁사 마벨(Marvell)의 NVLink Fusion(NVIDIA의 개방형 랙스케일 인터커넥트 플랫폼)에 낸 투자를 두고 Austin Lyons과 Vik Sekar가 "XPU(범용 GPU 대신 특정 워크로드에 맞춘 커스텀 칩)를 키워주는 게 왜 NVIDIA에 이득인가"를 풀어내고, 이어 DRAM·NAND 가격이 폭등한 메모리 사이클을 진단하며 이번엔 AI 수요가 소비자 수요 둔화를 흡수할지를 따진다. 마지막으로 Intel이 2년 전 사모펀드 Apollo에 팔았던 아일랜드 팹(Fab 34) 지분 49%를 도로 사들인 사건을 짚는다.

이번 회차는 글로벌파운드리(GlobalFoundries)가 타워세미컨덕터(Tower Semiconductor)에 낸 특허소송 속보로 문을 열고, 구글 리서치가 재조명한 KV 캐시 압축 기법 TurboQuant를 짚은 뒤, Austin이 다녀온 Arm Everywhere 행사에서 나온 Arm의 첫 자체 CPU 칩 발표—에이전틱 AI(agentic AI)에는 기가와트당 코어 수가 4배 필요하다는 주장—를 놓고 두 진행자가 코어 수·전력·소프트웨어 호환성 관점에서 엇갈리는 반응을 주고받는다.

그 주 GTC(엔비디아 GPU 기술 컨퍼런스)와 OFC(광섬유 컨퍼런스, Optical Fiber Conference)가 겹쳐 소식이 쏟아진 가운데, 진행자들은 마이크론의 HBM4(4세대 고대역폭 메모리)가 베라 루빈(Vera Rubin, 엔비디아 차세대 GPU 플랫폼)에 실제로 설계돼 들어갔다는 소식과, 스케일업(같은 랙 안 GPU 간 연결) 광학 인터커넥트에서 마이크로LED·VCSEL(수직공진표면발광레이저)이 인듐인화물 레이저의 대안으로 떠오르는 흐름을 다뤘다. 중간에 토큰 예산과 온프레미스(사내 설치형) 추론이라는 짧은 화제도 끼어든다.

아이오와 폭설로 항공편이 결항돼 키노트를 비행기 안에서 스트리밍으로 본 오스틴을 대신해, 진행자 둘이 젠슨 황의 두 시간 반짜리 GTC 키노트를 늦은 밤 급히 훑어본다. 추론을 무료·중간·프리미엄 등급으로 나눈 요금 설계, SRAM 기반 Groq 칩을 소프트웨어로 해독(디코드) 전담에 붙인 방식, 별도의 Vera CPU 랙, 그리고 그 사이에서도 왜 HBM 수요는 줄지 않는지를 정리한다.

Austin Lyons와 Vik Sekar가 Synopsys 패널 후기로 문을 연 뒤, Vik의 Arista·광서킷 스위칭(OCS) 글, Austin의 "메타는 반도체를 6개월마다 낸다" 글(MTIA 칩렛 전략), 마지막으로 레이저 회사 Applied Optoelectronics(AAOI)의 급등과 2017년 붕괴 데자뷔까지 세 갈래를 훑는다.

같은 주에 엔비디아가 루멘텀·코히런트에 각 20억 달러를 투자한 뉴스와, 브로드컴 CEO 훅탄이 실적발표에서 "코퍼는 400기가까지도 될 수 있다"고 말한 뉴스가 맞부딪히자, Austin과 Vik가 옵틱스(광학)와 코퍼(구리 배선) 중 스케일업(scale-up, 랙 내부 연결)의 승자가 누구인지, 그리고 왜 승자가 아직 정해지지 않았는지를 짚는다.

지난 회차에서 광학 기술만 다루고 미룬 "회사 이야기"를 이어받아, 두 진행자가 밸류에이션은 접어두고 광학 공급망을 기판(AXT)→파운드리(Tower·GlobalFoundries)→레이저(Lumentum·Coherent)→조립(Fabrinet)→광섬유(Corning) 순서로 훑으며 서로에게 "사겠다/안 사겠다"를 묻는 게임 형식으로 진행한다.

Vik Sekar가 "광통신이 다음 메모리다"라고 던진 즉흥 트윗이 그대로 회차 주제가 됐다 — 구리가 속도·거리에서 한계에 부딪힌 자리마다 광부품이 대신 들어가고, 그 레이저가 실리콘과 다른 인듐인화물(InP, 발광 반도체 소재) 기반이라 공급이 수요를 못 따라간다는 것이 두 진행자의 핵심 논지다.

메모리 값 폭등(HBM·GDDR·DRAM 계약가 급등)으로 게이밍 GPU가 뒷전으로 밀려나는 현상을 짚은 뒤, Austin과 Vik는 2026년 구글·마이크로소프트·메타·아마존 4개 하이퍼스케일러의 자본지출 급증(합산 6천억 달러 이상)을 회사별 사업 모델에 대입해 왜 그만큼 쓰는지 풀이한다.

Ornn 최고기술책임자 Wayne Nelms는 GPU 컴퓨트와 메모리를 표준 상품처럼 거래하는 선물(先物)거래소를 만들었다고 설명한다. 스팟 가격이 뛸 때 상한을 씌우는 선물, GPU가 몇 년 뒤 얼마에 팔릴지 미리 가격을 정해 주는 잔존가치 상품, 그리고 그 확실성이 뉴클라우드의 대출 금리를 낮춘다는 논리를 진행자 Vik Sekar와 나눈다.