Post #42

Со-основатель Hugging Face говорит о новом тренде в ИИ - Low Tech AI Low Tech AI — это будущее, где мощный ИИ становится доступным, простым и легко интегрируемым в существующие технологии, что может радикально изменить общество в кратчайшие сроки Основные тренды: 1. Уменьшение размера моделей ML при сохранении производительности: - Размер моделей ML не растёт или уменьшается Современные модели ML (например, Llama или Qwen) показывают производительность, сравнимую с моделями, которые год назад были в 2–10 раз больше по размеру Это значит, что для достижения высокого уровня интеллекта требуется меньше параметров - Доступ к вычислительным мощностям дешевеет За ту же цену пользователи получают всё больше вычислительных ресурсов (многоядерные процессоры и т.д.) В итоге - высокий уровень ML становится всё более доступным по цене и вычислительным ресурсам 2. Низкая сложность ML: - Современные ML-модели и их рабочие процессы проще, чем многие традиционные программы для CPU или прошлые архитектуры ML ML сегодня — это технология с «низкой сложностью ветвления» (low branching complexity). - Это упрощает и аппаратное обеспечение для ML (например, TPUs, AI-ускорители от Etched, Fractile, GROQ, Cerebras и др.), делая его менее сложным, чем традиционное оборудование для вычислений 3. Интеграция в существующий софт. - ML создаётся на основе человеческих данных и поэтому всё лучше интегрируется в текущий стек ПО, созданного людьми - Это означает, что для внедрения ML в существующие системы потребуется минимальная модернизация API и программного стека Возможные последствия: Эти тренды ведут к появлению «Low Tech AI» — ML, интегрированного в дешёвые и простые технологические стеки Примеры: 1. Чип мощностью 5 Вт, работающий с высокоэффективным алгоритмом (модель с миллиардами параметров), с низкой задержкой и энергопотреблением, превосходящая по интеллекту GPT-3/4, особенно с использованием инструментов 2. Бизнес, использующий устаревший софт 2000-х годов, может практически мгновенно стать ML-ориентированным с минимальными изменениями в технологиях, но с радикальным улучшением возможностей Комбинация этих трендов может привести к масштабным и быстрым изменениям в обществе MLможет распространиться повсеместно за короткое время, подобно тому, как смартфоны в некоторых странах заменили настольные компьютеры и ноутбуки, обойдя их широкое распространение В случае с ML влияние может быть ещё более значительным