Machinelearning

📌GPU Glossary: исчерпывающая база по GPU. Modal Labs составили подробный глоссарий, чтобы решить проблему, с которой сами столкнулись при работе с графическими процессорами в сервисе Modal : документация фрагментирована и зачастую очень сложно сопоставить концепции на разных уровнях стека. Modal Labs (бренд Modal) – компания, основанная в 2021 году, которая предоставляет высокопроизводительную серверную вычислительную платформу для разработчиков, работающих с данными, ИИ и машинным обучением. Они прочитали PDF-документацию от NVIDIA, порылись в тематических Discord-сообществах и даже купили бумажные учебники, чтобы составить базу знаний, охватывающую весь стек в одном месте: 🟢Ядра CUDA, SM, тензорные ядра, warp-планировщики; 🟢Потоки, PTX, иерархию памяти; 🟢Roofline, дивергенцию; 🟢Nvcc, nvidia-smi, cuBLAS, Nsight, libcuda. В руководстве все страницы связаны между собой, поэтому вы можете перейти к разделу о Warp Scheduler , чтобы лучше понять потоки, о которых вы читали в статье о модели программирования CUDA. Сам проект открыт и доступен на Github. 🟡Страница 🖥GitHub @ai_machinelearning_big_data #AI#ML#GPU#Glossary#Modal

🖥 Глава Nvidia Дженсен Хуанг объяснил, почему инвестировал $2 млрд в компанию Илона Маска xAI - и сделал это с редкой откровенностью: «Единственное, о чём я жалею, что не дал ему больше денег. Когда речь идёт о проектах, в которых участвует Илон, ты хочешь быть частью этого. Он дал нам шанс инвестировать в xAI и это инвестиция в действительно великое будущее. Это не просто партнёрское финансирование, это вера в идею». Крупнейшие компании Amazon, Microsoft и Google - управляют бизнесом на несколько триллионов долларов и тратят около сотни миллиадров на инфраструктуру дата-центров. Но сейчас происходит тектонический сдвиг: 💡 переход от CPU-систем к генеративным AI-платформам на GPU, и этот переход только начинается. Nvidia уже продала оборудования на сотни миллиардов долларов для этой новой эры, но на фоне многотриллионного рынка AI-инфраструктуры и это тольео начало пути. Мир вступает в долгосрочный цикл экспансии инвестиций в ИИ, Nvidia - в самом центре этого колоссального рынка. 🚀 @ai_machinelearning_big_data #Nvidia#xAI#ElonMusk#JensenHuang#AI#инвестиции#технологии#GPU

🖥 Большая сделка $NVDA и $INTC NVIDIA и Intel объявили о стратегическом партнёрстве сразу на несколько поколений продуктов. NVIDIA инвестирует $5 млрд в акции Intel по $23.28 за штуку, а совместные решения будут объединять x86-CPU от Intel и RTX-GPU от NVIDIA через NVLink. 🔹 ПК - Intel выпустит x86 SoC с интегрированными GPU-чиплетами NVIDIA RTX. - Это даст более плотную связку CPU+GPU, чем PCIe (Peripheral Component Interconnect Express) - это высокоскоростная шина, которая используется для соединения различных компонентов компьютера) 🔹 Дата-центры - Intel создаст кастомные x86-CPU специально для NVIDIA. - NVIDIA будет предлагать клиентам выбор: ARM или x86 в своих AI-платформах. - Это усиливает позиции NVIDIA и даёт Intel шанс вернуться в топ. 💰 Финансовая часть - NVIDIA покупает пакет акций Intel на $5 млрд. - Сделка - про продуктовую коллаборацию, а не про производство GPU на Intel Foundry. ⚡️ Почему это интересно: - Windows-ПК могут превратиться в полноценные AI-машины. - Для дата-центров появится выбор CPU-архитектуры, что расширяет рынок NVIDIA. - Для Intel — шанс доказать, что её CPU могут конкурировать в ключевых сегментах на рынке. ❓ Что остаётся за непонятным: - Когда именно выйдут продукты и на каких процессах их будут делать. - Детали NVLink: пропускная способность, топология памяти (DRAM ↔ HBM). - Как будет выглядеть софт: CUDA/драйверы на Windows/x86, поддержка Linux. - Как посчитают выручку: RTX-чиплеты в Intel-SoC и CPU в NVIDIA-платформах. Это огромный плюс для Intel и стратегическое расширение для NVIDIA. Если сделка произойдет, рынок ПК и дата-центров ждёт новая волна AI-систем. А вот $AMD и $ARM теперь будет куда сложнее конкурировать. После объявления о сделке акции Intel полетели вверх на безумные 30%. @ai_machinelearning_big_data #NVIDIA#Intel#NVDA#INTC#AI#GPU

🖥 Nvidia меняет стратегию и уходит от универсальных GPU. Теперь каждый чип будет заточен под конкретный этап LLM-инференса. Инференс делится на два шага: - Prefill - первая стадия. Требует огромной вычислительной мощности, но почти не использует память. - Decode - вторая стадия. Наоборот, сильно нагружает память, но вычислений нужно меньше. Раньше, например, R200 объединял в одном GPU и мощные вычислительные блоки, и много памяти. В итоге это было дорого и неэффективно: - при Prefill простаивает память, - при Decode — простаивают вычислительные блоки. 🟢Новый подход Nvidia — разные GPU под разные задачи: - Rubin CPX - оптимизирован для Prefill • 20 PFLOPS вычислений • 128 GB GDDR7 • 2 TB/s пропускная способность - R200 — GPU под Decode • 288 GB HBM4 • 20.5 TB/s памяти 📆 Планы компании: - **2024–2025**-— линейка Blackwell (B200, GB300): рост вычислений и памяти. - 2026–2027 - Rubin разделится: • VR200 — для Decode (максимум HBM). • CPX — для Prefill (много вычислений, дешёвая память). - 2027 — VR300 Ultra: 66.7 PFLOPS и 1024 GB HBM4E. Nvidia перестраивает линейку так, чтобы каждый GPU работал максимально эффективно именно под свой этап инференса. #Nvidia#GPU#AI#Blackwell#Rubin#LLM

📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model" Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs" How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность. Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей. 12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов. Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU. Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather). Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов. В конце главы есть хороший анализ новых возможностей архитектуры Blackwell. @ai_machinelearning_big_data #AI#ML#LLM#Scaling#GPU#TPU

🐼 Pandas тормозит на больших данных? NVIDIA показала, как ускорить его в 40 раз — без переписывания кода. Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas. Для примеры были взяты: 📉 Скользящие средние (50D и 200D) 📅 Недельная статистика закрытия рынков 🧊 В общей сложности ~18M строк Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз Код скрипта не менялся вообще — тот же pandas, но на GPU. Это один из примеров, где ускорение достигается без переписывания логики кода. 🟡 Потестить самому можно в Colab 🟡 Другие примеры с кодом — здесь @ai_machinelearning_big_data #datascience#ml#nvidia#gpu#pandas#python

🖥 Nvidia почти достигла рыночной капитализации в 4 триллиона долларов. Во времена золотой лихорадки богатели продавцы лопат, а не старатели. Сегодня тот же принцип работает в ИИ: NVIDIA — продавец лопат XXI века🛠️ • Золотоискатели-2025 — стартапы и корпорации, обучающие LLM, строящие автономных агентов и генеративные сервисы. • Лопаты — GPU серии A/H, NVLink, CUDA-стек, DGX-сервера и сетевые ускорители. • Магазин инструментов — собственные облака NVIDIA и партнёрские дата-центры. Пока одни ищут «золото» в данных, NVIDIA продаёт каждому из них новые лопаты — и зарабатывает на каждом. 💰 Если бы вы вложили $10,000 в Nvidia в 2010… сейчас у вас было бы $4,400,000. @ai_machinelearning_big_data #ai#ml#Nvidia#market #AI#GPU#NVIDIA#Инфраструктура