Post #3734

토큰과 공장 1. AI 시대에 있어 가장 중요한건 무엇일까? 본질은 '토큰'이라고 생각 미국 GTC에서 가장 크게 느낀 점은 AI의 처음이자 끝이 '토큰'이라는 것. AI 시대에 있어 토큰은 마치 인류가 처음 '전기'를 찾아낸 것과 같음 2. 토큰 수요는 계속 증가할 것인가? OpenClaw가 만들어낸 Agentic AI가 촉발해낼 토큰 수요는 이미 우리가 '텍스트'를 통해 소통하는 토큰 수요를 아득히 넘어서고 있음 중요한 점은, 인류 중에서 아직 LLM을 쓰는 인구는 소수에 불과하며 그 중에서도 OpenClaw를 쓰는 인구는 더 극소수에 불과하다는 것 3. 토큰은 단순히 LLM이 생성해내는 '단어', '말꾸러미‘에 그치지 않고, 모든 명령체계와 인식/제어/행동 등 모든 영역에서 확장될 것 젠슨황이 말하는 Agentic AI든, Physical AI든, 토큰 수요의 증가는 기하급수적일 수밖에 없다고 생각 이는 17-18년 하이퍼스케일러 시기와도 차이가 있음. 당시에는 스마트폰의 기술력 상승이 저장하는 데이터를 텍스트->사진->영상으로 발전하면서 막대한 규모의 데이터센터가 필요해진 것 그러나 AI 시대의 토큰은 멀티모달(사진, 영상)에 국한되지 않고 우리의 지능(LLM), 비서(Agent), 물리(Physical) 모든 영역에서 증가할 것 4. 이 폭증하는 '토큰'에 대한 모든 공급이 AI 인프라로 이어지고 있음. 토큰이 곧 매출(Revenue)이 되고, 토큰을 만들어내는 AI 인프라는 매출을 생성해내는 공장(Token Factory)가 되어가고 있음 그리고 시장에서 그토록 핫한 800VDC든, 변압기든, 기판이든, 원전이든, 우주 데이터센터든, AI RAN이든, HBM4든, LPU든 => 이 모든게 가리키는 방향은 단 하나로, 어떻게 하면 토큰을 더 많이, 효율적으로 만들어낼 수 있는가라고 볼 수 있음 모든 AI에 관련된 기술 발전은 토큰을 '더 많이 뽑아내고', '더 싸게 만들고', '더 효율적으로 생성하기 위해' 진행되고 있는 것 결국 모든 AI 시대의 투자의 대전제는 (1) 토큰 수요가 폭증하고 있는가? (2) 토큰 수요를 뒷받침하기 위해 AI 인프라 투자가 계속되는가? 라고 생각 5. 젠슨은 이번에 모든 IT 기업이 SaaS 위주에서 Agent as a service로 바뀔 것이라고 언급. 미국 SW기업들은 각자의 코어 영역이 존재하는데, 이 코어 영역에서 수많은 기업들의 private data를 보유하고 있음. (Oracle DB든, CRM이든, ERP든) 이 data를 최대한 private하게 유지하면서(보안을 유지), 중요한 의사결정에는 사람이 개입할 수 있는 형태의 Agent를 모든 SW 기업들이 구축하게 될 것. 그리고 그 또한 엔비디아가 개발하는 NemoClaw 플랫폼에서 이뤄지게 될 수 있음 6. 엔비디아는 AI가 발전해나가는 모든 영역(=토큰을 창출해낼 모든 영역)에 발을 걸치고 있음. 어찌보면 과도하다 싶을 정도로 매년 새로운 SW 플랫폼을 발표하고 있음 월드 파운데이션 모델 Cosmos, Physical AI용 Issac, 자율주행 플랫폼 알파마요, Agentic AI 용 NemoClaw, 그 외에 생명공학, 기후예측, 양자컴퓨팅, 우주데이터센터까지 무엇이 되든 엔비디아를 거치게 되면 더 빠르게 '가속화'시킬 수 있게 만들고 있음 7. CUDA를 통해 엔비디아가 깨달은 것은, SW 플랫폼의 장악력이 가장 중요하다는 것이었고, 과거 마이크로소프트가 결정하는 플랫폼 표준에서 그래픽카드가 외면받은 경험(파산위기)에서 느낀 것 또한 플랫폼이 중요하다는 것이었을 것 이런 경험들에서 촉발되었을지는 몰라도, 젠슨황은 모든 AI 개발을 위한 SW를 수평적으로 펼치고 있음 8. 동시에 엔비디아는 HW를 수직적으로 관리하고 있음. 엔비디아의 베라 루빈칩과 랙을 보면 그걸 알 수 있는데, 대만의 엄청난 서버 밸류체인을 전부 관리하고, 나아가 전세계 HW 기업들의 실적과 향후 AI DC HW 표준을 엔비디아가 정하고 있다는 점에서 엔비디아는 이미 HW의 수직적 통합을 구축해내고 있음 그가 제시하는 베라 루빈의 스펙, 카이버 아키텍처와 루빈 울트라, 파인만까지 이어지는 막대한 토큰 생성 기계는 수만개의 부품으로 구성되고 이는 '엔비디아'만이 제조할 수 있는 것 9. 작년 12월 제미나이가 LLM에서 선두권으로 치고나가면서 구글 TPU가 부상하자, 엔비디아는 12월 24일 Groq을 인수했고 3개월만인 올해 3월 GTC에서 LPX를 공개, 베라 루빈의 경쟁력을 더 끌어올렸음 무려 3개월만에 새로운 기술을 통합시켜 엔비디아 GPU의 강점을 더 끌어올린 것 10. 이 수직적인 HW 통합과 수평적인 SW 플랫폼 확장은 거미줄처럼 엔비디아가 모든 AI Token Factory 영역을 지배하고 있음을 의미한다고 생각 그리고 엔비디아가 추구하는 방향에서 가장 중요한건 토큰, 그리고 토큰을 산출해내는 기계를 만드는 AI 인프라, 이를 구축하기 위한 capex라는 것 (다음은 사전학습, 사후학습, MoE, 멀티 에이젼트, KV캐시, 프리필, 디코드, 추론, HBM4E 로직다이 등에 대해) => ‘왜 메모리 마진율이 이렇게 높은데 고객사들이 가격 하락을 기다리지 않고 장기공급 얘기가 나오는지’ 대해