Post #3752

• “메모리는 사이클 산업이고, 최근 메모리 관련 종목 급등은 뻔한 버블이다.” • 이런 반사적인 시각이 제일 쉬운 해석이다. 하지만 나는 이런 생각을 하는 사람들이 AI가 메모리 수요에 어떤 규모의 변화를 만들고 있는지 놓치고 있다고 본다. • 메모리 스토리에 뭔가 더 있을 수 있다는 첫 단서는 올해 1월에 나왔다. 엔비디아의 차세대 Rubin 플랫폼이 GPU당 16TB의 NAND, 랙당 1152TB를 필요로 하고, 시스템에 필요한 HBM 대역폭도 이전에 알려진 것보다 70% 더 높다는 얘기가 나왔을 때다. • 그때 처음으로 외부 관찰자들도, 이미 알려진 GPU 수요를 따라가려면 메모리도 기하급수적으로 확장돼야 한다는 사실을 체감하게 됐다. • 사람들이 과소평가하는 점 하나는, GPU 연산 성능은 대체로 무어의 법칙처럼 약 2년마다 두 배씩 늘어났지만 메모리의 밀도와 속도는 그렇지 않았다는 점이다. GPU 연산이 계속 커질수록 기존 메모리 업체들은 훨씬 더 많은 칩을 만들어야 한다. • 게다가 그 칩들은 전보다 더 빨라야 한다. 문제는 메모리 업체들이 수십 년 동안 풀지 못했던 속도 개선을 이제 어떻게 만들어낼 것이냐는 것이다. • 이렇게 기술 난이도는 올라가고 제품 수요는 기하급수적으로 늘어나면, 메모리는 사람들이 흔히 아는 “범용상품”이라기보다 고마진의 독자적 칩에 더 가까워 보이기 시작한다. • 이것은 아직 추론용 컴퓨팅에서 메모리가 하는 역할, 롱컨텍스트 같은 요소는 제대로 반영하지도 않은 얘기다. 추론에 필요한 연산도 기하급수적으로 늘고 있고, 그것 역시 메모리 의존도가 높다. • 에이전트형 AI는 에이전트가 엄청난 양의 데이터를 컨텍스트로 끌어와야 하므로, 한 번의 “턴”당 토큰 수가 늘어나고 이를 실행하는 데 필요한 메모리도 커진다. 진짜 에이전트 시스템은 훨씬 더 긴 컨텍스트와 훨씬 더 많은 반복 턴을 필요로 한다. 더 긴 컨텍스트는 워크로드당 메모리를 늘리고, 더 많은 턴은 결과물 하나를 만드는 데 필요한 총 워크로드를 늘린다. • 구체적인 숫자를 하나 들면, Micron의 SVP Jeremy Werner는 최근 The Circuit에서 agentic AI 때문에 컨텍스트 길이가 연 30배씩 커지고 있다고 말했다. • 마이클 델은 이 문제를 아주 단순하게 설명했다. H100은 HBM이 80GB였지만, 2028년엔 가속기 하나에 약 2TB가 들어갈 수 있다는 것이다. 가속기당 메모리가 25배 많아지는 셈이다. 같은 기간 그는 배치되는 가속기 수도 대략 25배 늘어날 것으로 본다. • 그러면 2028년까지 가속기 메모리 수요는 25 x 25, 즉 625배가 된다. • 모두가 메모리주는 사이클을 타고, 버블이 터지기 직전엔 늘 싸 보인다는 걸 안다. 하지만 메모리 시장에서 구조적 변화가 일어나고 있어서 이번엔 그 컨센서스가 틀릴 수도 있다면 어떨까? • 원래 사이클 기업으로 여겨졌지만 AI 수요 덕분에 성장 스토리로 재평가된 다른 회사를 떠올릴 수 있을까? 힌트를 주자면, 지금 세계에서 가장 가치가 높은 회사다. • 다시 말하지만, 이건 어떤 증권을 사거나 팔라는 추천이 아니다. AI 인프라 확장이 메모리 시장을 어떻게 바꾸고 있을지 생각해보는 하나의 프레임이다. 원문: https://x.com/alexcorrino/status/2053610835793400216?s=46&t=sLJKTt3yoDoVniFjGgH6yA