Post #4263

메모리와 CPU 관해서도 파텔은 말한다: "2025년 말에 수요 신호가 매우 강력했음에도 불구하고, 메모리 회사들은 즉시 반응을 시작했습니다. 그러나 일반적인 20~30% 외에 추가로 생산하기로 결정한 그 어떠한 실질적인 추가 물량도 두 번째 시기—실제로는 2028년 이전에는 나오지 않습니다. 이는 매우 독특한 상황입니다." "그들이 최대한 빨리 짓고 싶어 한다 해도, 빨라야 2027년 후반이나 2028년에나 나옵니다. 그 결과 메모리 가격은 천정부지로 치솟았습니다. 그리고 어떻게 될까요?" "가격은 두 배, 세 배로 다시 뛸 것입니다. 적어도 디램은 특히 그렇습니다." "사람들은 "아, 메모리 스토리는 과장됐어"라고 말합니다." 다들 그렇게 생각하지만, 저는 "아니, 아니, 아니, 당신들은 이해를 못 하고 있어. 디램은 여기서 두세 배는 더 뛸 거야"라고 말합니다. 왜냐하면 그만큼의 생산 능력이 필요하기 때문입니다." & "엄청난 양의 CPU가 필요한 두 가지 주요 이유가 있습니다. 첫째는 강화 학습을 할 때 CPU가 매우 중요한 역할을 한다는 것입니다. 예전에는 인터넷에 있는 모든 데이터를 모델에 집어넣어 학습시키면 모델이 무언가를 내뱉는 식이었죠." "이제는 전 세계 인터넷 데이터를 모델에 입력한 다음, 이 '환경(environment)'에 배치합니다. 이 환경은 "자 모델아, 이거 한번 해봐"라고 지시하고, 모델은 여러 가지 다양한 시도를 합니다." "그리고 마지막에 이 환경은 모델이 시도한 것이 성공했는지 여부를 채점하고 평가합니다. 이 환경은 무엇이든 될 수 있습니다. "텍스트가 올바른 구조로 출력되었는지 확인해봐" 같은 아주 간단한 것일 수도 있고, 매우 복잡한 것일 수도 있습니다." "그리고 사람들은 점점 더 복잡한 것들을 시도하기 시작했습니다. "이 파일을 열어서 수정하고, 편집하고, 업데이트해서 이 웹사이트에 제출해 줘" 라든가 "지멘스의 물리 시뮬레이션을 열어서 이 CAD 모델을 수정해 줘" 같은 식으로 말이죠. 환경은 갈수록 복잡해질 수 있습니다. 그리고 그 환경들은 CPU 위에서 실행됩니다. GPU나 ASIC에서 돌아가지 않습니다." "ASIC은 환경으로부터 입력 데이터를 받아 모델을 통해 실행하는 모델 그 자체를 구동합니다. 모델은 문제를 해결할 수 있다고 생각하는 각기 다른 여러 궤적(trajectories) 형태의 결과를 출력합니다. 그 궤적들이 채점 및 평가를 받게 됩니다. 그리고 성공적인 결과들을 바탕으로 학습을 진행하고 모델을 업데이트하고 반복(iterate)해 나가는 겁니다." "따라서 이 과정에서 CPU가 매우 유용합니다. 둘째로, 이렇게 뛰어난 모델을 구축하고 배포할 때, 그 모델들은 코드를 생성하고 유용한 결과물을 만들어냅니다. 그 유용한 결과물은 GPU에서 인간의 뇌로 직행하는 것이 아닙니다. GPU나 ASIC에서 나와 어딘가에 배포된 앱을 거쳐 전달되는데, 이 앱은 실제로 CPU에서 실행됩니다. 이것이 대량의 수요가 발생하는 또 다른 영역이며 공급이 크게 부족한 이유입니다." https://colossus.com/episode/supply-demand-of-tokens/