Post #475

🎞Как ускоряют нейросети? Ускорение нейросетей — важный навык в DL-индустрии: растёт потребность инференса нейросетей на смартфонах и edge-устройствах, а DL-сервисов становится всё больше и нагрузка на эти сервисы растёт. А запустить LLM «как есть», никак не оптимизировав — слишком дорогое удовольствие. Ну и «зачем платить за то, что в 5 раз медленнее, если можно платить за то, что в 10 раз быстрее» 😉 В новом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», расскажет «на пальцах» про основные подходы в ускорении нейросетей, их плюсы и минусы, а также немного затронет особенности ускорения LLM. Смотрите видео на Youtube!