🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
ChatGPT лежит - с кем не бывает! Однако если вы уже как и я зависимы от искусственного интеллекта, вот альтернативы
Gemini (ex-Bard) / Google – USA
http://gemini.google.com
Claude / Anthropic (by ex-OpenAI members) – USA
https://claude.ai/
LLama / Meta (ex-facebook) – USA
https://meta.ai
Grok от xAI / X(ex-Twitter) – USA
https://x.com/i/grok
Perpelexity AI / Private (by ex-OpenAI and ex-Meta members) – USA
https://www.perplexity.ai
Copilot от Microsoft – USA
https://copilot.microsoft.com
Mistral / Private (by ex-Meta and ex-Google members) – France
https://mistral.ai/lechat
GigaChat / Сбер – РФ
https://giga.chat
Алиса / Яндекс - РФ
https://alice.yandex.ru
Qwen / Alibaba – Китай
https://chat.qwenlm.ai
Удивительно но у яндекса нет своего чата. Но конечно есть свои модели которые могут использовать разработчики, но моделей сейчас много практические у каждой страны есть много моделей и компании которые их делают, но таких удобных чатов вроде бы больше нет.
Если знаете еще, поделитесь пожалуйста в комментариях
#ai | @andreyposnov
OpenAI показали что теперь модель о1 можно обучать своими датасетами
это был второй день из 12 (2/12) - мероприятия shipmas
на примере показали как можно улучшить моделями своими в области медицины
дата сет – это набор данных которыми обучают искуственный интеллект, например фото собаки, на котором написано это собака, и таких фото 10 000 и больше, чем больше данных, тем меньше будет ошибок.
в данном случае набор данных медицинских, где симптомы/болезнь и какаой ген это вызывает, модель сначала умела определять 17%, после обучени 31%
может быть абсолютно любой набор данных, из любой индустрии/области
#AI | @andreyposnov
OpenAI открыли доступ к полной версии модели O1 (для платных подписчиков)
Она еще быстрее и еще умнее, и запустили новую подписку для модели O1 Pro кому надо сложные задачи решать (за 200 долларов в месяц)
Пока все
Презентация была всего 15 мин, видимо будет 12 дней по 15 мин))
Скептики скажут ничего ваш чатгпт не умеет, а я скинул анализы просто на испанском, сказал переведи все и дай совет, все понятно и быстро) никаких сюрпризов, надо меньше жрать и больше заниматься физкультурой 🤓
Вы пользуетесь ежедневно ChatGPT?
👍 - да, пользуюсь почти ежедневно
🔥 - нет, но пользуюсь иногда
❤️ - нет, вообще не пользуюсь
🤔 - не понимаю о чем речь
#AI | @andreyposnov
Новинки ChatGPT, Сегодня в 19-00 по Барселоне
Компания OpenAI анонсировала несколько дней назад презентацию на 12 дней, которая стартует сегодня!
Которую называет Shipmas (созвучно с Christmas — англ. Рождество)
Что представят неизвестно, но слухи что chatgpt, заговорит голосом Санта Клауса? Выпустят модель Sora, которая по тексту будет генерировать видео и полную версию o1, каждый день в течение 12 дней мы будем как адвент календарь открывать новые возможности/продукты AI
Лично я очень вдохновлен и с нетерпением жду что представят)
#AI | @andreyposnov