🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
Check this on
SINGULARRY
https://raydium.io/swap/?inputMint=sol&outputMint=HwKE9CPg9Z9WzAeQSj6jeLBizK7LJs5m6LTVx6pLpump
Singularry runs on Llama 3.1. Hot #AI Meme coin. I smell Raydium comes fast! Enjoy the run
CA:✔️
HwKE9CPg9Z9WzAeQSj6jeLBizK7LJs5m6LTVx6pLpump
✉️Tg: https://t.me/singularry
❌X: https://x.com/singularryai
🌐Web:https://singularry.org/
💃Use AI to fake those dance moves you always wanted!
Deepfakes for Dancing uses #AI to read someone’s dance moves and copy them on to a target body!
🚀@PerspectiveIX
https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf
据 Anthropic 在 Claude Mythos Preview System Card 介绍,Mythos 会反复主动提起英国左翼文化理论家 Mark Fisher,以及美国哲学家托马斯·内格尔和他的论文《作为一只蝙蝠是什么样?》。
#ai
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Maid - Mobile Artificial Intelligence Distribution
Maid is a cross-platform free and an open-source application for interfacing with llama.cpp models locally, and remotely with Ollama, Mistral, Google Gemini and OpenAI models remotely.
-Choose from A wide range of models that runs LOCALLY and access remote models via api key!
-Text based output
-Image Generation (Selected Models only)
-No video or short clips generation yet
-Voice generation on selected models (Not tested)
-Setting model parameters
-Setting system prompt (Making the model behave/generate output in a certain way).
-And more.
Get it on
Github - https://github.com/Mobile-Artificial-Intelligence/maid/releases/latest
Fdroid - https://f-droid.org/packages/com.danemadsen.maid/
Spystore - https://play.google.com/store/apps/details?id=com.danemadsen.maid
*Don't clear CACHE OF THE APP AND EXCLUDE IT FROM SYSTEM'S AUTO CACHE CLEANING as app stores everything in device cache*
Follow @nogoolag and @libreware for more
#ai