🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
⚡️Новая модель ChatGPT 4.5, стала доступна подписчикам Plus
за 23 евро в мес которое,я например давно пользуюсь именно Plus) буду теперь 4.5 пользоваться
Говорят что это самая умная модель на сегодня 🤓
#ai | @andreyposnov
Китайский AI DeepSeek разработан Яндексом?
Краткий ответ:Нет конечно)
Вот в этом посте при обвале рынков США я писал:
👉 я лично до конца не знаю как модели работают, но мне представляется что ее могли скопировать/спереть, а то что в 1700 раз выгоднее обучить - не верится, а если так, то надо объединиться ради человечества и в 1700 раз быстрее создать полноценный ИИ который решит все текущие проблемы людей)
За эту неделю DeepSeek привлек к себе большое внимание, и люди начали его копать/ковырять, кто то даже что-то там взломал/нашел незащищенную базу данных со всеми чатами (тут) и
еще вот такие ответы при тестах "Я Яндекс/Я ChatGPT", выясняется, судя по всему DeepSeek взяли несколько популярных моделей, и “слепили/обучили“ свою модель, с усовершенствованным reasoning’ом, благодаря которому модель лучше рассуждает
🧑💻Дистиляция знаний (Knowledge Distillation) в искусственном интеллекте – это методика, позволяющая «перенести» знания от более крупной (и, как правило, более точной, но при этом более ресурсоёмкой) нейронной сети, называемой учителем (teacher), к более компактной и быстрой нейронной сети, называемой учеником(student). Основная идея состоит в том, чтобы использовать выходные данные (предсказания) или внутренние представления крупной модели для обучения меньшей модели, не теряя при этом ключевые особенности, которые позволяют достигать высокой точности.
Поэтому иногда бывают такие забавные ответы от DeepSeek, что он Яндекс, или ChatGPT. Просто (как я понял) в нем намешаны данные от разных моделей)
В любом случае для нас - конечных пользователей это хорошо, что началась некая гонка AI, будут конкурировать друг с другом и улучшать свои сервисы, а то кроме ChatGPT никого особо не слышно было)
#ai | @andreyposnov
⚡️ Сегодня Видеообщение с AI стало доступно людям в Европе
Аллилуйя!
Даже породу правильно определил))
Можно включить камеру показывать ЧатуГПТ и спрашивать что он/она/оно видит)) поскорее бы уже в очки внедрили)
ps. Еще можно шарить скрин(показывать свой экран)
#ai | @andreyposnov
⚡️Китайская нейросеть DeepSeek обвалила рынки
На фото «снимок» рынка акций компаний, красный - это когда минус, зеленый это когда рост, но на фото еще добавили звезды «виновника».
Компания из Китая использовала простаивающие видеокарты для обучения модели ИИ, применив особую технологию работы с параметрами, как результат: потратили до $10 млн, создали мощную модель с открытым исходным кодом.
🙌Для сравнения, OpenAI (ЧатГПТ) потратили почти $17 миллиардов. 🥲 (это в 1700 раз больше, то есть намного).
Генерация ответов при этом требует почти в 30 раз меньше ресурсов, чем в OpenAI, а также DeepSeek работает автономно локально на компьютерах.
Как следствие, техногиганты теряют доверие инвесторов, окупаемость вложений в ИИ кажется сомнительной.
Такие компании как Nvidia, рискуют потерять до $2 трлн. заработанных на ИИ.
Большая часть функционала DeepSeek доступна бесплатно для всех желающих: chat.deepseek.com (сейчас лежит от наплыва) а также доступны моб приложения в appstore и google play
👉я лично до конца не знаю как модели работают, но мне представляется что ее могли скопировать/спереть, а то что в 1700 раз выгоднее обучить - не верится, а если так, то надо объединиться ради человечества и в 1700 раз быстрее создать полноценный ИИ который решит все текущие проблемы людей)
#ai | @andreyposnov
⚡️Трамп и OpenAI(ChatGPT) Sam Altman только что анонсировали новую компанию Stargate
Проект Stargate предполагает $500 млрд в ИИ-инфраструктуру США
OpenAI, SoftBank, Oracle и NVIDIA запускают Stargate Project — крупнейшую инициативу по созданию мощной ИИ-инфраструктуры.
В течение 4 лет будет инвестировано $500 млрд, первые $100 млрд выделяются уже сейчас.
📍Цели:
🔹 Укрепление лидерства США в ИИ
🔹 Создание сотен тысяч рабочих мест
🔹 Развитие AGI во благо человечества
Проект только что стартовал в Техасе, в 23:30 по Барселоне
Технологические партнеры: Arm, Microsoft, NVIDIA, Oracle, и OpenAI
Что еще в Беклоге…
#ai | @andreyposnov