📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model"
Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs"
How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность.
Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей.
12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов.
Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU.
Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather).
Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов.
В конце главы есть хороший анализ новых возможностей архитектуры Blackwell.
@ai_machinelearning_big_data
#AI#ML#LLM#Scaling#GPU#TPU
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
OpenAI и Google ужесточают бесплатный доступ к своим нейросетям.
Крупнейшие игроки резко ограничили бесплатные лимиты на выходных, сигнализируя о конце эры щедрых AI-субсидий. Причина в колоссальных затратах на инфраструктуру.
Что произошло:
💰 Проблема в деньгах:
Партнеры OpenAI (Oracle, SoftBank, CoreWeave) набрали $100+ млрд долга для построения AI-инфраструктуры.
Билл Пиблс, руководитель Sora (OpenAI) заявляет
«Наши GPU плавятся»
А Google в свою очередь бросает вызов Nvidia
⏺️
Акции Nvidia упали на 4% после новости, что
Meta* может перейти на TPU от Google
с 2027 года
⏺️
TPU Google
в 4 раза экономичнее
GPU Nvidia для задач инференса
⏺️
Midjourney уже сократил затраты на 65% после перехода на TPU
Похоже индустрия ИИ столкнулась с физическими пределами роста.
Бесплатный сыр заканчивается
Пользователей мягко подталкивают к платным подпискам.
#OpenAI#Google#Nvidia#ИИКризис#Sora#GPU#TPU#Финансы
Нейроофис💀
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Huawei Ascend 910D — новый удар по монополии NVIDIA
Помните, как чип Ascend 910B от Huawei уже заставил нервничать рынки? Теперь история набирает обороты!
Компания Huawei представилановый AI-чип Ascend 910D — ответ на жёсткие экспортные ограничения США. По данным The Wall Street Journal и Reuters, процессор создан, чтобы конкурировать с флагманом NVIDIA H100, а его производительность может даже превзойти американский аналог. Ключевая цель — обеспечить Китай локальными технологиями и снизить зависимость от западных решений.
Почему это важно?
👉 Ранее я писал, что Ascend 910B (предыдущая версия) уже показал впечатляющие результаты: потеря всего 5% производительности при запуске ИИ DeepSeek, но экономия 70% на инференсе.
👉 Теперь 910D — следующий шаг. Если Huawei выполнит заявленные характеристики, давление на NVIDIA усилится: китайские компании массово перейдут на отечественные чипы.
Что дальше?
Китай делает ставку на технологический суверенитет, и Huawei — главный игрок в этой гонке. Если Ascend 910D подтвердит заявленный уровень, мировой рынок AI-чипов ждёт передел. NVIDIA придётся не просто конкурировать, а экстренно искать новые козыри.
А вы верите в то, что Huawei способна обойти NVIDIA?
https://t.me/semasci
#Huawei#NVIDIA#GPU#AI#чипы#технологии
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML
❤️Интервью Павла Дурова на русском в 4k@durov
🎞 Ссылка на Youtube
Решил поиграться с нашим #AI и перевести видео с липсинком полностью через бот @plasma_gpt_ai_bot На русский в разы сложнее переводить, чем на английский.
Смотрите, что получилось)