🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
Включите звук!
Сегодня это короткое демо общения двух ИИ-агентов собрал уже больше 10 млн просмотров на Х. Как только ИИ агенты соображают, что в их общении не участвует человек, они сразу переходят на более эффективный протокол общения (т.е. обмена данных). Это существенно ускорит процесс. И это только промежуточный вариант, для демонстрации возможностей.
Когда в недавней статьи писал о том, что скоро такие ИИ-агенты самостоятельно будут согласовывать типовые договоры между собой, то имел ввиду как раз такие сценарии. Информацию об использованном протоколе находится тут.
#ai
Искусственный интеллект сделал мне сайт, где я собрал все рефералки
🔗http://andreyposnov.es
попозже это будет лишь раздел сайта типа сайт/partners, сам сайт хочу интегрировать с телеграмом, чтобы все что я писал сюда – туда дублировалось, и это все подхватывали СЕО боты (которые SEO) поисковых систем, индексировалось и выдавалась в выдаче, ну и конечно со ссылочкой на телеграм, такое SEO продвижение телеги будет.
Но вот, что интересно, я накидал в Фигме (Figma), как я это вижу примерно, сделал скриншот, скинул в Чатгпт, и написал - сверстай, и он сверстал, представляете, я вообще ничего не правил руками, просто писал ему команды, что поправить и он делал, быстрее чем фрилансеры)
я посмотрю дальше смогу ли я полностью сделать сайт как я хочу, не исправляя код самостоятельно)
в качестве хостинга выступает AWS S3, оказалось не просто привязать туда существующий домен, если кто-то хочет убедиться - попробуйте) А я просто купил новый.
Через сколько лет перестанут нужны люди, которые просто пишут код?
👍– до 2 лет
❤️– 3-5 лет
🔥– 6-10 лет
#AI | @andreyposnov
#AI is a new listings coins on binance,the project looks like good,we will enter it around the Entry zone,send it to the moon🚀
Entry zone: $1.1 - $0.9✅
❄️@signals_bitcoin_crypto❄️
❄️@Shadow_support0o❄️