Post #3967

* AMD 직원과의 인터뷰 - 메모리, HBM 수요에 대해 - AlphaSense 사용량이 올라가면 KV 캐시도 올라갑니다. 소프트웨어적으로 KV 캐시를 최적화할 수는 있지만, 10~15%, 최대 25%까지만 가능합니다. 순수 소프트웨어 관점에서 25%를 넘기는 건 이론적으로 불가능하고, 그러면 정확도를 희생해야 합니다.에이전틱이나 B2B 유스케이스에서는 정확도를 타협하면 스케일링이 안 됩니다. 컨텍스트는 계속 늘어날 수밖에 없고, 메모리에 대한 필요는 계속 증가하며 현재 공급되는 양을 초과할 것입니다. 에이전틱이 확산되면 결국 많은 마이크로 워크플로우를 체이닝하게 되고, 입력 토큰과 출력 토큰, 그리고 서브에이전트 간의 모든 중간 처리 토큰까지 합하면 — 예를 들어 서브에이전트 1개에서 최종 서브에이전트 4개로 확장되면 — 토큰 소비량이 4배, 5배, 10배까지 증가합니다. Claude Code는 대규모로 채택된 최상위 에이전틱 애플리케이션 중 하나로, 3개월도 안 되는 기간에 Anthropic에 20억 달러 이상의 매출을 안겨주었습니다. 이런 프론트엔드 측면에서 보면, HBM 수요는 매우 높습니다. SRAM이 가장 수요가 높긴 하지만, SRAM은 메모리 부품 중 가장 비싸고 일정 수준 이상으로는 스케일링이 불가능합니다. 아키텍처적으로 NVIDIA나 AMD GPU에서 일정 지점 이상으로 확장하는 건 불가능하죠. 현재 유일한 대안이 HBM입니다. HBM은 Hynix, Samsung, Micron 전사 기준으로 2026~2027년 물량이 전량 매진된 상태입니다. NVIDIA와 AMD가 이미 물량을 확보했고, Trainium과 TPU, Ironwood도 마찬가지입니다. HBM3E, HBM4, HBM4E 전부 용량이 확보되었습니다. HBM3E는 2026년분이 완전히 매진이고, HBM4는 랙 스케일 GPU용으로 — NVL72, NVL144, AMD Helios, MI455X GPU 등 — 모두 최소 12스택 HBM을 탑재하며, NVL72 이상은 16스택 HBM을 사용합니다. 물량 자체도 늘고 있고, 용량도 계속 커지고 있습니다. 명백한 공급 병목이 존재합니다. 3대 주요 업체 중 특히 Hynix가 파운드리 기준 메모리 최대 공급자인데, 이미 전량 매진입니다. 많은 칩 설계사와 ODM들이 예측 수량 기반으로 선제적 조달에 나서고 있는 상황입니다. 이들은 예측 주문량을 더 높이 올리고 있고, 동시에 맞춤형 HBM 스택 개발에도 집중하고 있습니다. 현재까지는 Hynix가 제공하는 기성품(off-the-shelf) 방식이지만, 2027년 말~2028년 초부터는 커스터마이징 시대로 전환되어 칩 설계사가 메모리 팹과 메모리를 공동 설계하는 형태가 될 것입니다.