Post #3333

@ryu1moo2

Ryu일무이

조회수223게시물 조회수

게시됨2월 21일2026. 02. 21. AM 05:51

내용

게시물 내용

#메모리#memorywall https://m.blog.naver.com/freelife-kr/224190489790 AI 성능 병목은 compute에서 memory bandwidth로 구조적으로 이동 중이다. 모델 파라미터(410×/2yrs)와 훈련 FLOPs(750×/2yrs)는 GPU 메모리 증가율(2×/2yrs)을 압도한다. LLM decoder inference는 본질적으로 memory-bound이며 FLOPs 증가는 해결책이 아니다. HBM 및 고대역폭·고용량 메모리 수요는 구조적으로 증가한다.