🐼 Pandas тормозит на больших данных?
NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.
Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.
Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк
Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз
Код скрипта не менялся вообще — тот же pandas, но на GPU.
Это один из примеров, где ускорение достигается без переписывания логики кода.
🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь
@ai_machinelearning_big_data
#datascience#ml#nvidia#gpu#pandas#python
Huawei Ascend 910D — новый удар по монополии NVIDIA
Помните, как чип Ascend 910B от Huawei уже заставил нервничать рынки? Теперь история набирает обороты!
Компания Huawei представилановый AI-чип Ascend 910D — ответ на жёсткие экспортные ограничения США. По данным The Wall Street Journal и Reuters, процессор создан, чтобы конкурировать с флагманом NVIDIA H100, а его производительность может даже превзойти американский аналог. Ключевая цель — обеспечить Китай локальными технологиями и снизить зависимость от западных решений.
Почему это важно?
👉 Ранее я писал, что Ascend 910B (предыдущая версия) уже показал впечатляющие результаты: потеря всего 5% производительности при запуске ИИ DeepSeek, но экономия 70% на инференсе.
👉 Теперь 910D — следующий шаг. Если Huawei выполнит заявленные характеристики, давление на NVIDIA усилится: китайские компании массово перейдут на отечественные чипы.
Что дальше?
Китай делает ставку на технологический суверенитет, и Huawei — главный игрок в этой гонке. Если Ascend 910D подтвердит заявленный уровень, мировой рынок AI-чипов ждёт передел. NVIDIA придётся не просто конкурировать, а экстренно искать новые козыри.
А вы верите в то, что Huawei способна обойти NVIDIA?
https://t.me/semasci
#Huawei#NVIDIA#GPU#AI#чипы#технологии
👩💻 Python для сетевых инженеров.
• Python уверенно лидирует в рейтингах популярности языков программирования, и не зря — на этом языке можно решать самые разные задачи и при этом сильно экономить время. Я нашел очень полезную книгу, в которой рассматриваются основы Python с примерами и заданиями построенными на сетевой тематике. Надеюсь, что многим из Вас пригодится данный материал и поможет приступить к изучению этого языка программирования.
• Книгу можно читать в онлайне (по ссылкам ниже), либо скачать в удобном формате и на разных языках:
• Основы Python:
➡Подготовка к работе;
➡Использование Git и GitHub;
➡Начало работы с Python;
➡Типы данных в Python;
➡Создание базовых скриптов;
➡Контроль хода программы;
➡Работа с файлами;
➡Полезные возможности и инструменты.
• Повторное использование кода:
➡Функции;
➡Полезные функции;
➡Модули;
➡Полезные модули;
➡Итераторы, итерируемые объекты и генераторы.
• Регулярные выражения:
➡Синтаксис регулярных выражений;
➡Модуль re.
• Запись и передача данных:
➡Unicode;
➡Работа с файлами в формате CSV, JSON, YAML.
• Работа с сетевым оборудованием:
➡Подключение к оборудованию;
➡Одновременное подключение к нескольким устройствам;
➡Шаблоны конфигураций с Jinja2;
➡Обработка вывода команд TextFSM.
• Основы объектно-ориентированного программирования:
➡Основы ООП;
➡Специальные методы;
➡Наследование.
• Работа с базами данных:
➡Работа с базами данных.
• Дополнительная информация:
➡Модуль argparse;
➡Форматирование строк с оператором %;
➡Соглашение об именах;
➡Подчеркивание в именах;
➡Отличия Python 2.7 и Python 3.6;
➡Проверка заданий с помощью утилиты pyneng;
➡Проверка заданий с помощью pytest;
➡Написание скриптов для автоматизации рабочих процессов;
➡Python для автоматизации работы с сетевым оборудованием;
➡Python без привязки к сетевому оборудованию.
#Python
⚙️Nvidia на мероприятии GTC 2023представила набор облачных сервисов AI Foundations для разработки искусственного интеллекта.
По данным техгиганта, с его помощью компании смогут создавать, совершенствовать и использовать крупноязыковые и генеративные ИИ-алгоритмы, обучая их на собственных данных, для решения уникальных задач.
🪄 В AI Foundations входят языковой сервис NeMo и платформа Picasso для генерации изображений, видео и 3D. Оба продукта включают предварительно обученные модели, API-интерфейсы, оптимизированные механизмы логического вывода, фреймворки для обработки данных и поддержку инженерного персонала Nvidia.
На GTC 2023 компания также представила ряд других ИИ-систем. Среди них:
📌 облако DGX Cloud, позволяющее арендовать мощную вычислительную ИИ-инфраструктуру и ПО Nvidia через браузер;
📌 платформы логического вывода L4 для повышения производительности видео, L40 — создания 2D/3D изображений, NVL — развертывания больших языковых моделей и Grace Hopper — разработки рекомендательных систем;
📌 система Isaac Sim для совместной работы над умными устройствами;
📌 рабочий процесс Omniverse для автопроизводителей;
Также компания открыла клиентам доступ к ИИ-ускорителям H100 Hopper.
#Nvidia
🪄Nvidiaпредставила ИИ-генератор трехмерных объектов по тексту Magic3D.
Система базируется на алгоритме eDiffii. Сперва модель преобразовывает запрос в изображения низкого разрешения, которые затем обрабатываются в исходное 3D-представление с помощью фреймворка Instant NGP.
🖼 После этого ИИ-алгоритм DMTet извлекает трехмерную сетку более высокого качества. Это служит шаблоном для дальнейших изображений, масштаб которых увеличивается.
По словам Nvidia, в результате получается трехмерная модель объекта размером 512×512 пикселей, которую можно импортировать и визуализировать в стандартном графическом ПО.
💬 В компании заявили, что Magic3D по скорости и разрешению превосходит ИИ-генератор Google DreamFusion.
#Nvidia
⚙️Nvidia задействовала графические процессоры и алгоритмы машинного обучения для проектирования новых видеоускорителей.
В компании утвеждают, что ИИ можно эффективно применять в таких областях проектирования GPU, как картирование падения напряжения, прогнозирование паразитных явлений, проблемы размещения и маршрутизации, автоматизация стандартной миграции ячеек.
📉 Картирование падения напряжения показывает инженерам, как распределяется мощность в новых процессорах. По данным Nvidia, использование ИИ позволило сократить время произведения расчетов с трех часов до трех секунд с точностью 94%.
Также инженеры использовали графовые нейросети для анализа проблемы размещения и маршрутизации компонентов процессора, так как неправильное выполнение этого условия приведет к «пробкам данных».
⚒ Кроме того, переход с 7-нм на 5-нм техпроцесс производства чипов требовал больших трудозатрат, а обучение с подкреплением помогло ускорить этот этап и уменьшить количество ошибок в правилах проектирования.
#Nvidia
🖼Nvidiaвыпустила инструмент Canvas для генерации фотореалистичных пейзажей по наброску, основанный на нейросети GauGAN.
Для создания изображения пользователю доступны 15 материалов, такие как трава, туман или снег, а также девять стилей, в зависимости от которых меняется освещение и другие детали.
Изображение можно разделить на слои, чтобы по отдельности редактировать каждую часть картинки.
🖥 Опробовать Canvas могут все желающие, однако для его работы требуется видеокарта Nvidia c ядрами RT для трассировки лучей из серии RTX.
#Nvidia
👀NVIDIAоткроет доступ к облачному суперкомпьютеру DGX SuperPOD для разработки искусственного интеллекта по подписке за $90 000 в месяц.
Пользователям сервиса установят готовое комплексное решение для центров обработки данных, что повысит производительность их инфраструктуры.
DGX SuperPOD обладает вычислительной мощностью в 100 петафлопс. Аналогичные суперкомпьютеры используются в немецком исследовательском центре ИИ для анализа спутниковых и аэроснимков, а также в университете Флориды для молекулярного моделирования белков с квантовой точностью.
📆 Сервис станет доступен летом 2021 года.
#NVIDIA
🎮 Nvidia запатентовала технологию машинного обучения для тактильного фидбека в игровых контроллерах.
На сегодняшний день разработчики видеоигр заранее программируют моменты срабатывания тактильной отдачи. Вместо этого специалисты Nvidia предлагают обучить искусственный интеллект распознавать «особые» моменты внутри игры в режиме реального времени и самостоятельно выбирать варианты обратной связи с игроком.
⚙️ О том, как будет работать технология в патенте практически ничего не сказано. Вероятно, обработка алгоритмов будет происходить на CPU, графическом процессоре, либо же на комбинации аппаратного и программного обеспечения.
#Nvidia
Знания языка #Python для современнного юзера/предпринимателя такой же необходимый навык как знание #excel
Так что рекомендую всем как можно скорее пройти хотя бы базовый курс по нему, например как у этого автора.
😁
С #python даже на базовом уровне, можно написать любое приложение, телеграм бот, сделать сайт, смонтировать видео, сделать аналитику по данным или запустить свой AI [да вообще ЧТО угодно!]🔥
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML