TGINSIGHT CHAT
박주혁
@juhyukb
Video und FilmeX: https://x.com/morbid19 YT: https://www.youtube.com/@juhyuk Inquiries: @bjuhyuk
Aktuelle Beiträge
S. 1 von 85 · 1,019 Beiträge
Gepostet vor 20 Tagen
그나저나 이번에 나온 소니 폰 카메라의 AI 어시스턴트가 대단하네요. 어케 사진을 더 구리게 만드냐 얘네는? 댓글 반응도 존나 웃김: https://x.com/sonyxperia/status/2054853108988047562?s=20
Gepostet vor 20 Tagen
트럼프가 최근에 $DELL 언급한 이유: 본인이 샀기 때문에 2월 10일에 5백만불치 사고 그뒤로도 매집을 꾸준히 했다네요 출처: https://x.com/pelositracker/status/2054930880615895518?s=20
Gepostet vor 20 Tagen
트럼프가 최근에 $DELL 언급한 이유: 본인이 샀기 때문에 2월 10일에 5백만불치 사고 그뒤로도 매집을 꾸준히 했다네요 출처: https://x.com/pelositracker/status/2054930880615895518?s=20
Gepostet vor 21 Tagen
핵무기 폭발 vs 미국의 지진 공격 vs 그냥 자연재해 vs 이란의 구라 어떤게 가능성이 제일 높을까
Gepostet vor 21 Tagen
테레란 동부 지역에 지진이 9번 일어났다네요 https://x.com/DeItaone/status/2054492064079806658?s=20
Gepostet vor 22 Tagen
갑자기 동시다발적으로 트위터에서 $PENG을 쉴링하길래 이것도 KOL 딜이라는게 있나 의심했습니다
Gepostet vor 22 Tagen
주식도 동물 메타라는게 있네요 $WOLF $PENG
Gepostet vor 22 Tagen
이번에 트럼프랑 같이 중국 가는 CEO들 다 아는 회사인데 일루미나? 이건 머냐
Gepostet vor 24 Tagen
• “메모리는 사이클 산업이고, 최근 메모리 관련 종목 급등은 뻔한 버블이다.” • 이런 반사적인 시각이 제일 쉬운 해석이다. 하지만 나는 이런 생각을 하는 사람들이 AI가 메모리 수요에 어떤 규모의 변화를 만들고 있는지 놓치고 있다고 본다. • 메모리 스토리에 뭔가 더 있을 수 있다는 첫 단서는 올해 1월에 나왔다. 엔비디아의 차세대 Rubin 플랫폼이 GPU당 16TB의 NAND, 랙당 1152TB를 필요로 하고, 시스템에 필요한 HBM 대역폭도 이전에 알려진 것보다 70% 더 높다는 얘기가 나왔을 때다. • 그때 처음으로 외부 관찰자들도, 이미 알려진 GPU 수요를 따라가려면 메모리도 기하급수적으로 확장돼야 한다는 사실을 체감하게 됐다. • 사람들이 과소평가하는 점 하나는, GPU 연산 성능은 대체로 무어의 법칙처럼 약 2년마다 두 배씩 늘어났지만 메모리의 밀도와 속도는 그렇지 않았다는 점이다. GPU 연산이 계속 커질수록 기존 메모리 업체들은 훨씬 더 많은 칩을 만들어야 한다. • 게다가 그 칩들은 전보다 더 빨라야 한다. 문제는 메모리 업체들이 수십 년 동안 풀지 못했던 속도 개선을 이제 어떻게 만들어낼 것이냐는 것이다. • 이렇게 기술 난이도는 올라가고 제품 수요는 기하급수적으로 늘어나면, 메모리는 사람들이 흔히 아는 “범용상품”이라기보다 고마진의 독자적 칩에 더 가까워 보이기 시작한다. • 이것은 아직 추론용 컴퓨팅에서 메모리가 하는 역할, 롱컨텍스트 같은 요소는 제대로 반영하지도 않은 얘기다. 추론에 필요한 연산도 기하급수적으로 늘고 있고, 그것 역시 메모리 의존도가 높다. • 에이전트형 AI는 에이전트가 엄청난 양의 데이터를 컨텍스트로 끌어와야 하므로, 한 번의 “턴”당 토큰 수가 늘어나고 이를 실행하는 데 필요한 메모리도 커진다. 진짜 에이전트 시스템은 훨씬 더 긴 컨텍스트와 훨씬 더 많은 반복 턴을 필요로 한다. 더 긴 컨텍스트는 워크로드당 메모리를 늘리고, 더 많은 턴은 결과물 하나를 만드는 데 필요한 총 워크로드를 늘린다. • 구체적인 숫자를 하나 들면, Micron의 SVP Jeremy Werner는 최근 The Circuit에서 agentic AI 때문에 컨텍스트 길이가 연 30배씩 커지고 있다고 말했다. • 마이클 델은 이 문제를 아주 단순하게 설명했다. H100은 HBM이 80GB였지만, 2028년엔 가속기 하나에 약 2TB가 들어갈 수 있다는 것이다. 가속기당 메모리가 25배 많아지는 셈이다. 같은 기간 그는 배치되는 가속기 수도 대략 25배 늘어날 것으로 본다. • 그러면 2028년까지 가속기 메모리 수요는 25 x 25, 즉 625배가 된다. • 모두가 메모리주는 사이클을 타고, 버블이 터지기 직전엔 늘 싸 보인다는 걸 안다. 하지만 메모리 시장에서 구조적 변화가 일어나고 있어서 이번엔 그 컨센서스가 틀릴 수도 있다면 어떨까? • 원래 사이클 기업으로 여겨졌지만 AI 수요 덕분에 성장 스토리로 재평가된 다른 회사를 떠올릴 수 있을까? 힌트를 주자면, 지금 세계에서 가장 가치가 높은 회사다. • 다시 말하지만, 이건 어떤 증권을 사거나 팔라는 추천이 아니다. AI 인프라 확장이 메모리 시장을 어떻게 바꾸고 있을지 생각해보는 하나의 프레임이다. 원문: https://x.com/alexcorrino/status/2053610835793400216?s=46&t=sLJKTt3yoDoVniFjGgH6yA
Gepostet vor 26 Tagen
근데 GPT 5.5가 미소스랑 거의 맞먹어서 더이상 안 무서움
Gepostet vor 26 Tagen
앤트로픽 미소스 METR 차트 상단 뚫어버림 너무 좋아서 성능 측정이 제대로 안되는 수준이면 이제 좀 무서운데
Gepostet vor 27 Tagen
• 우리는 지난 1년 동안 추론 토큰 가격이 거의 100배 넘게 싸졌는데도, 전체 컴퓨트 비용은 오히려 더 커지는 상황을 보고 있다. • 이유는 토큰 가격이 싸졌어도 사람들이 에이전트·딥리서치·추론형 작업처럼 훨씬 무거운 작업을 더 많이 하기 시작했기 때문이다. • 예전엔 한 번 질문하고 끝났다면, 이제는 모델이 길게 생각하고 여러 단계로 움직이면서 훨씬 많은 토큰과 요청을 써버린다. • 그래서 토큰 하나 가격은 크게 떨어졌지만, 전체 사용량이 그보다 훨씬 더 빨리 늘어서 총비용은 오히려 커지고 있다. • 이건 효율이 좋아질수록 총소비가 줄지 않고 더 커지는 제번스의 역설이 AI에서 그대로 벌어지는 모습이다. • 지금 하이퍼스케일러들이 돈을 더 많이 쓰는 것도, 추론 수요가 단순한 가격 하락보다 훨씬 더 강하게 폭증하고 있기 때문이다. • 학습은 한동안 몰아서 돌리고 끝나는 작업이었지만, 추론은 서비스처럼 계속 돌아가야 해서 전력·냉각·메모리 같은 운영비 부담이 훨씬 크다. • 폐쇄형 API 위에 제품을 얹은 회사들은 사용자가 많아질수록 자기들도 컴퓨트 비용을 더 많이 내야 해서, 잘 팔릴수록 마진이 나빠질 수 있다. • 그래서 앞으로 중요한 건 모델 자체만이 아니라, KV cache 관리나 라우팅, 양자화처럼 추론 비용을 줄여주는 아래쪽 스택이다. • 특히 긴 대화나 에이전트 작업은 메모리를 계속 붙잡고 있어서, GPU 계산보다 메모리 쪽이 더 큰 병목이 될 수 있다. • 그래서 앞으로는 GPU 숫자만이 아니라 메모리, 패키징, CPU/GPU 비율 같은 하드웨어 구조까지 같이 중요해진다. • 결론적으로 지금 벌어지는 일은 AI가 식고 있는 게 아니라, 너무 유용해져서 추론 수요가 폭발했고 그 결과 비용 구조 전체가 바뀌고 있다는 것이다. 원문 링크