Post #21882

* 궈밍치, '메모리 바운드는 메모리만의 문제가 아니다' - 한줄 요약 : 메모리 병목은 메모리 혼자서 해결할 수 있는 문제가 아니라 여러 계층(하드웨어, 알고리즘, 애플리케이션)에서 동시에, 지속적으로 해결해야 하는 시스템 수준의 과제이다. * 업계의 다양한 접근방식 1. 엔비디아의 LPX - 주요 takeaway : LPX는 메모리 병목을 없애지 않는다. 메모리 병목 조건에서 토큰 출력을 안정화시킬 뿐이다. - 산업 검증 : Vera Rubin NVL72에서 GB300 NVL72 대비 메모리 대역폭이 2.75배 증가했음에도 Nvidia가 여전히 LPX를 함께 도입한 것은, 메모리 병목이 순수한 대역폭 문제가 아님을 보여준다. 2. 구글의 터보퀀트 - 주요 takeaway : 메모리 병목은 여전히 존재하지만, 압축을 통해 고정된 메모리 대역폭 제약 하에서 토큰 생산성/비용을 개선한다. - 산업 검증 : Google은 KV 캐시 압축을 연구하면서도 TPU HBM 용량을 크게 확대하고 있다(기존 v7의 192GB → 2027년 하반기 384GB(MTK 설계) → 2028년 512GB(Broadcom 설계)). 이는 압축 알고리즘과 메모리 스케일링이 대립이 아닌 병행 관계임을 보여준다. 3. Claude의 소스코드 - 주요 takeaway : 무엇을 유지하고 메모리를 어떻게 사용할지 제어하는 능력은 메모리 병목 환경에서 AI 에이전트의 핵심 역량이다. - 산업 검증 : 컴퓨트 파워와 메모리 용량이 계속 확대되고 있음에도 Anthropic은 애플리케이션 계층에서 메모리 관리 방식을 재설계해야 했다. 이는 메모리 병목이 순수한 하드웨어 문제가 아님을 보여준다. * 결론 : - 플레이어들 간 접근 방식의 다양성은 메모리 병목이 부품 수준 문제가 아니라, 하드웨어와 소프트웨어를 아우르는 시스템 수준 과제임을 반영한다. - 이러한 접근 방식들은 대체 관계가 아니라 상호 보완적이다. “KV 캐시를 압축하면 메모리 수요가 사라진다” 같은 단순 논리는 존재하지 않는다. 대신 메모리 병목은 여러 계층에서 동시에, 지속적으로 완화되어야 한다. https://x.com/i/status/2043237317654257754