Machinelearning

📢 Google уверенно выводит свои TPU на новый уровень — и делает это сразу по трём направлениям. Компания развивает три семейства собственных ускорителей: Ironwood, Sunfish и Zebrafish. Так Google закрывает потребности в высокопроизводительном инференсе, обучении моделей и создании огромных суперподов на 2026–2027 годов. TPU уже используют Safe Superintelligence, Salesforce и Midjourney - то есть экосистема растёт. **🚀 Ironwood (TPUv7):* Это самое впечатляющее поколение TPU на сегодня: • примерно 10× быстрее TPU v5 • примерно 4× производительнее TPU v6 • до 4,600 FP8 TFLOPS на чип • 192 GB HBM3e • масштабирование до 9,216 чипов в одном поде • около 1.77 PB общей памяти Такой уровень идеально подходит для LLM, где важны скорость и масштаб. 🔥 Sunfish (предположительно TPUv8) Следующее поколение создаётся совместно с Broadcom. Запуск ожидается ближе к концу 2020-х, и Sunfish должен стать главным ускорителем Google Cloud. 💡 Zebrafish: гибкая и массовая линейка MediaTek выступает ключевым партнером по ASIC. Zebrafish будет: • более доступным по цене • с гибкими характеристиками • подходящим для локальных и более компактных кластеров То есть не только для гигантских суперкомпьютеров, но и для широкого использования. 🌐 Зачем Google три разных TPU? Это даёт компании возможность: • разделять нагрузки между поколениями • удерживать клиентов уровня Anthropic • обеспечивать более 1 ГВт выделенной мощности • конкурировать с Nvidia на уровне не только чипов, но целых систем Google строит собственную вертикаль ИИ-инфраструктуры - масштабную, гибкую и рассчитанную на годы вперёд. Все это нужно, чтобы доминировать на рынке ИИ. @ai_machinelearning_big_data #google#tpu

💰Google TPUs - главный конкурент NVIDIA? Аналитики считают: если бы Google выделила бизнес по TPU-чипам вместе с лабораторией DeepMind, то объединённая компания могла бы стоить около $900 млрд. Пока этого не произойдёт, но сама цифра показывает масштаб. 📌Что такое TPU и почему они важны 🟢Чипы, созданные специально для машинного обучения 🟢Их производительность — до 42,5 экзафлопс 🟢Сами чипы сопоставимы с NVIDIA по скорости и энергоэффективности 🟢 За полгода активность разработчиков в Google Cloud выросла на 96% , благодаря собственному железу 🔥Новые поколения чипов - 6-е поколение Trillium уже пользуется высоким спросом - 7-е поколение Ironwood станет первым TPU, ориентированным на крупномасштабный inference — этап, когда модели реально используются после обучения Anthropic и xAI активно рассматривают переход на TPU, так как улучшенная поддержка через JAX делает их использование на больших масштабах заметно проще. Google уже заключила сделку с Fluidstack (Нью-Йорк) и ведёт переговоры с другими облачными провайдерами, которые раньше работали в основном с NVIDIA (например, Crusoe и **CoreWeave**). В итоге Google выходит в прямую конкуренцию с NVIDIA — и впервые за долгое время у «зелёного гиганта» появился серьёзный соперник. 🟢Новость: marketwatch. com/story/google-may-be-sitting-on-a-900-billion-gem-that-could-disrupt-nvidias-dominance-20662ec6 @ai_machinelearning_big_data #google#nvidia#tpu#deeplearning

📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model" Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs" How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность. Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей. 12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов. Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU. Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather). Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов. В конце главы есть хороший анализ новых возможностей архитектуры Blackwell. @ai_machinelearning_big_data #AI#ML#LLM#Scaling#GPU#TPU

✔️Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX Что делает Marin особенной: — Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub — Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B — Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить — Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности. Выпущены две версии: - Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B - Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей. * JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения. **TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач. 🟠Github: https://github.com/stanford-crfm/marin 🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/ 🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html @ai_machinelearning_big_data #ai#ml#tpu#jax#google