📢 Google уверенно выводит свои TPU на новый уровень — и делает это сразу по трём направлениям.
Компания развивает три семейства собственных ускорителей: Ironwood, Sunfish и Zebrafish.
Так Google закрывает потребности в высокопроизводительном инференсе, обучении моделей и создании огромных суперподов на 2026–2027 годов.
TPU уже используют Safe Superintelligence, Salesforce и Midjourney - то есть экосистема растёт.
**🚀 Ironwood (TPUv7):*
Это самое впечатляющее поколение TPU на сегодня:
• примерно 10× быстрее TPU v5
• примерно 4× производительнее TPU v6
• до 4,600 FP8 TFLOPS на чип
• 192 GB HBM3e
• масштабирование до 9,216 чипов в одном поде
• около 1.77 PB общей памяти
Такой уровень идеально подходит для LLM, где важны скорость и масштаб.
🔥 Sunfish (предположительно TPUv8)
Следующее поколение создаётся совместно с Broadcom.
Запуск ожидается ближе к концу 2020-х, и Sunfish должен стать главным ускорителем Google Cloud.
💡 Zebrafish: гибкая и массовая линейка
MediaTek выступает ключевым партнером по ASIC.
Zebrafish будет:
• более доступным по цене
• с гибкими характеристиками
• подходящим для локальных и более компактных кластеров
То есть не только для гигантских суперкомпьютеров, но и для широкого использования.
🌐 Зачем Google три разных TPU?
Это даёт компании возможность:
• разделять нагрузки между поколениями
• удерживать клиентов уровня Anthropic
• обеспечивать более 1 ГВт выделенной мощности
• конкурировать с Nvidia на уровне не только чипов, но целых систем
Google строит собственную вертикаль ИИ-инфраструктуры - масштабную, гибкую и рассчитанную на годы вперёд. Все это нужно, чтобы доминировать на рынке ИИ.
@ai_machinelearning_big_data
#google#tpu
💰Google TPUs - главный конкурент NVIDIA?
Аналитики считают: если бы Google выделила бизнес по TPU-чипам вместе с лабораторией DeepMind, то объединённая компания могла бы стоить около $900 млрд.
Пока этого не произойдёт, но сама цифра показывает масштаб.
📌Что такое TPU и почему они важны
🟢Чипы, созданные специально для машинного обучения
🟢Их производительность — до 42,5 экзафлопс
🟢Сами чипы сопоставимы с NVIDIA по скорости и энергоэффективности
🟢 За полгода активность разработчиков в Google Cloud выросла на 96% , благодаря собственному железу
🔥Новые поколения чипов
- 6-е поколение Trillium уже пользуется высоким спросом
- 7-е поколение Ironwood станет первым TPU, ориентированным на крупномасштабный inference — этап, когда модели реально используются после обучения
Anthropic и xAI активно рассматривают переход на TPU, так как улучшенная поддержка через JAX делает их использование на больших масштабах заметно проще.
Google уже заключила сделку с Fluidstack (Нью-Йорк) и ведёт переговоры с другими облачными провайдерами, которые раньше работали в основном с NVIDIA (например, Crusoe и **CoreWeave**).
В итоге Google выходит в прямую конкуренцию с NVIDIA — и впервые за долгое время у «зелёного гиганта» появился серьёзный соперник.
🟢Новость: marketwatch. com/story/google-may-be-sitting-on-a-900-billion-gem-that-could-disrupt-nvidias-dominance-20662ec6
@ai_machinelearning_big_data
#google#nvidia#tpu#deeplearning
✔️Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX
Что делает Marin особенной:
— Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub
— Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B
— Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить
— Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU
Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности.
Выпущены две версии:
- Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B
- Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu
Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей.
* JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения.
**TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач.
🟠Github: https://github.com/stanford-crfm/marin
🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/
🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html
@ai_machinelearning_big_data
#ai#ml#tpu#jax#google
📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model"
Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs"
How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность.
Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей.
12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов.
Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU.
Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather).
Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов.
В конце главы есть хороший анализ новых возможностей архитектуры Blackwell.
@ai_machinelearning_big_data
#AI#ML#LLM#Scaling#GPU#TPU
Q. 우주 데이터센터, 방사능 문제 괜찮나?
⇒우주 데이터센터에서 HBM이 방사능에 취약하지만, 추론은 문제 없다 (Google 썬캐쳐 논문)
구글은 V6e Trillium 클라우드 TPU와 AMD 호스트 서버를 67 MeV 양성자 빔에 노출시켜 태양 동기 저궤도(LEO)의 운영 환경 (저궤도 환경은 주로 양성자와 은하 우주선(GCR)으로 구성) 을 모사를 해보았음.
결론 ) 방사능 관련해서는 두 가지 한계점이 있음.
1. 총 이온화 선량(TID)
절연층에 전하가 누적되어 장치 성능이 서서히 저하되는 현상
1년에 150 rad(Si)를 견뎌야 함.
5년 임무를 수행하려면 약 750 rad(Si)를 견뎌야 함.
⇒ HBM에서 가장 민감함.
HBM은 연산 로직보다 방사능에 약 3.4배 더 민감하게 반응
⇒ 2000 rad(Si)부터 불규칙한 동작 발생
⇒ 위성의 수명은 5년이기에 2000rad(Si)까지 누적되지 않음. 따라서 HBM이 750rad(Si)까지는 버텨줌.
결론 ) HBM이 이건 버틴다
2. 단일 사건 효과(SEE)
고에너지 입자 하나가 충돌하여 즉각적인 오류 (비트 플립 등)를 일으키는 현상.
(비트 플립이란 방사선의 영향으로 메모리의 0이 1로, 1이 0으로 바뀌는 오류)
특히 감지되지 않는 비트 플립은 무소음 데이터 부패(SDC)를 유발하여 AI 모델 학습을 망칠 수 있음.
⇒ 역시나 HBM에서 가장 민감함.
⇒ 주로 수정 불가능한 ECC 오류로 발생
결론 ) HBM이 이걸 못 버팀. 비트 플립으로 비트가 0이었던게 1로 바뀌는 효과 발생해버려서 치명적
따라서 학습과 추론 시 영향이 차이가 나는데,
학습 ) 학습은 아직 추가 연구 필요
학습 중에는 감지되지 않는 비트 플립이 무소음 데이터 부패(SDC)를 일으켜 모델 전체를 망칠 위험이 있음. 따라서 학습 과정에 대한 영향과 이를 막기 위한 시스템 수준의 완화 기술은 추가 연구가 필요하다고 명시되어져 있음.
추론 ) 추론은 실질적으로 오류 발생 확률 낮아 사용 가능 수준
오류 발생 확률은 낮음. 실질적으로 사용 가능한 수준에 머뭄.
1년에 약 150 rad의 방사선이 내리쬐는 저궤도 환경을 가정하면, AI 추론 시 1,000만 건당 1번 정도의 오류가 발생하는 셈
#우주#SpaceX#구글#데이터센터#TPU#HBM
OpenAI и Google ужесточают бесплатный доступ к своим нейросетям.
Крупнейшие игроки резко ограничили бесплатные лимиты на выходных, сигнализируя о конце эры щедрых AI-субсидий. Причина в колоссальных затратах на инфраструктуру.
Что произошло:
💰 Проблема в деньгах:
Партнеры OpenAI (Oracle, SoftBank, CoreWeave) набрали $100+ млрд долга для построения AI-инфраструктуры.
Билл Пиблс, руководитель Sora (OpenAI) заявляет
«Наши GPU плавятся»
А Google в свою очередь бросает вызов Nvidia
⏺️
Акции Nvidia упали на 4% после новости, что
Meta* может перейти на TPU от Google
с 2027 года
⏺️
TPU Google
в 4 раза экономичнее
GPU Nvidia для задач инференса
⏺️
Midjourney уже сократил затраты на 65% после перехода на TPU
Похоже индустрия ИИ столкнулась с физическими пределами роста.
Бесплатный сыр заканчивается
Пользователей мягко подталкивают к платным подпискам.
#OpenAI#Google#Nvidia#ИИКризис#Sora#GPU#TPU#Финансы
Нейроофис💀