Post #37708

젠슨 황 엔비디아 CEO 인터뷰 중 -경쟁사(TPU 등)와의 차별점: "범용 가속 컴퓨팅 vs 단일 목적 ASIC" 드와르케시는 "AI는 결국 행렬 곱셈인데, 굳이 복잡한 GPU가 필요하냐"고 날카롭게 질문했습니다. 이에 대해 젠슨 황은 '혁신의 속도'와 '프로그래밍 가능성'을 핵심 키워드로 답했습니다. ① '텐서 처리'를 넘어선 '가속 컴퓨팅' 광범위한 도메인: TPU나 여타 ASIC은 특정 연산(텐서/행렬 곱셈)에만 특화되어 있습니다. 반면 엔비디아의 GPU는 분자 동역학, 유체 동역학, 데이터 처리, 양자 역학 등 인류가 직면한 모든 과학적 난제를 해결하기 위한 '가속 컴퓨팅' 플랫폼입니다. 시장 도달 범위: 특정 기능만 수행하는 칩은 시장이 제한적이지만, 모든 과학 기술 프레임워크를 가속하는 엔비디아는 훨씬 더 넓은 시장과 기회를 가집니다. ② 알고리즘 발명가들을 위한 '캔버스' (CUDA의 유연성) 연구의 연속성: AI는 고정된 기술이 아닙니다. 현재 연구자들은 새로운 어텐션 메커니즘, 하이브리드 SSM(Selective State Space Models), 확산 모델과 자기회귀 모델의 결합 등 끊임없이 새로운 아키텍처를 실험합니다. 소프트웨어적 자유: 고정된 ASIC으로는 이런 새로운 알고리즘을 구현하기 어렵습니다. CUDA라는 프로그래밍 가능한 아키텍처가 있기에 연구자들은 하드웨어의 제약 없이 새로운 커널을 짜고 AI의 한계를 밀어붙일 수 있습니다. ③ 무어의 법칙을 뛰어넘는 '공동 설계(Co-design)' 25% vs 50배: 트랜지스터 밀도에 의존하는 무어의 법칙은 연간 25% 성장에 불과합니다. 하지만 블랙웰(Blackwell)이 호퍼(Hopper) 대비 50배의 효율을 낸 비결은 단순히 칩 성능이 좋아져서가 아닙니다. 전체 스택 혁신: 프로세서, 시스템, 패브릭(NVLink), 라이브러리, 그리고 알고리즘을 동시에 설계하는 '익스트림 공동 설계'가 있었기에 가능했습니다. 연산의 일부를 네트워크(Spectrum-X)나 패브릭 자체에 오프로드하는 등의 방식은 엔비디아만이 할 수 있는 전방위적 혁신입니다. -CUDA 생태계와 TCO(총소유비용) 우위 드와르케시는 "빅테크들이 자체 커널을 짤 능력이 된다면 엔비디아의 마진이 깎이지 않겠느냐"고 물었습니다. 젠슨 황은 이에 대해 '수익성'과 '생태계의 중력'으로 대응했습니다. ① 개발자가 엔비디아를 선택하는 이유 (Flywheel) 압도적인 설치 기반(Install Base): 전 세계 모든 클라우드와 온프레미스에 수억 개의 엔비디아 GPU가 깔려 있습니다. 개발자가 소프트웨어를 짤 때, 자신의 코드가 가장 많은 기기에서 돌아가길 원한다면 선택지는 엔비디아뿐입니다. 신뢰의 가치: 수조 원 단위의 시스템을 구축할 때 "이게 내 코드 문제인가, 컴퓨터 문제인가?"를 고민하고 싶지 않을 것입니다. 엔비디아 스택은 수십 년간 검증되었기에 개발자는 오직 자신의 코드에만 집중할 수 있습니다. ② TCO(Total Cost of Ownership)의 절대적 우위 성능/비용 비율: 젠슨 황은 단호하게 말합니다. "엔비디아보다 더 나은 TCO 비율을 가진 플랫폼은 이 세상에 단 하나도 없다." * 벤치마크의 부재: 그는 경쟁사들이 왜 MLPerf나 InferenceMAX 같은 공개 벤치마크에서 엔비디아와 직접 비교된 비용 효율성을 입증하지 못하는지 반문합니다. 단순히 칩 가격이 싼 것이 중요한 게 아니라, 실제 운영 시 토큰 하나를 생산하는 데 드는 총비용이 엔비디아가 가장 저렴하다는 주장입니다. ③ 와트당 수익(Tokens per Watt) 극대화 데이터센터의 매출: 파트너사가 1기가와트(GW) 규모의 데이터센터를 지었다면, 그 공간과 전력 안에서 가장 많은 토큰을 생산해야 돈을 법니다. 자본 효율성: 엔비디아 아키텍처는 전력 효율성(Tokens per Watt)이 가장 높기 때문에, 같은 데이터센터 인프라에서도 경쟁사보다 더 많은 서비스를 판매하고 매출을 극대화할 수 있게 해줍니다. ④ 하이퍼스케일러와의 역학 관계 외부 고객의 수요: 구글, 아마존, 애저가 엔비디아를 대량 구매하는 이유는 그들의 고객(AI 스타트업들)이 엔비디아를 원하기 때문입니다. 범용성: 자체 ASIC(TPU 등)은 내부 용도로는 쓸 수 있어도, 외부 고객에게 빌려주기에는 생태계가 좁습니다. 엔비디아는 '가장 풍부한 고객층'을 하이퍼스케일러에게 데려다주는 역할을 합니다. https://x.com/DrNHJ/status/2044565475980677446?s=20 https://www.youtube.com/watch?v=Hrbq66XqtCo