🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
OpenAI выпустили Codex. (новый продукт)
Создатели ChatGPT выпустили тулу для разработчиков
Это ИИ-Агент который может писать код в браузере, командами, автоматически открывая Pull Request’ы, находит баг по описанию, может пофиксить и тд., все что делают программисты сегодня короче)
Тут официальный пресс-релиз https://openai.com/index/introducing-codex/
Последние два дня я доделывал несколько фич для своего проекта@equipage_ai, я использую Cursor, и там пару дней тестировал новую модель для кодинга 4.1, раньше использовать 4o и claude-sonnet, приходилось много править в процессе, сейчас же с 4.1 я практически ничего не меняю, просто говорю что надо сделать, вплоть до того что я просто кидаю папку с компонентами и говорю давайка поменяем логику вот так, и все меняется, мне остается только проверить минимально.
Codex же еще круче, он сам все исправит да еще и запушит в репозиторий, а если настроен CI/CD то все и задеплоится само после проверок))
Разработка будущего уже здесь.
К посту на фото вы также можете видеть спутниковый снимок зоны, где строят один из нескольких датацентров Stargate. (для работы искусственного интеллекта). Футбольное поле справа сверху для масштаба.
ps. за 2025 уволено/сокращено более 50 000 человек в айти секторе (в Европе и США).
Вы используете AI в работе?
👍 - конечно, а куда без него
❤️ - нет, для работы не использую + но хочу начать
🔥- нет, для работы не использую + и не собираюсь, я против искусственного интеллекта
#ai | @andreyposnov
Open AI’s Voice mode just got an upgrade. The new released Advanced Voice can mimic all sorts of different accents and dialects. This video shows displays Jamaican Patois
@Viral_Today / #AI
Ну че, Анимэ? После обновления ChatGPT который научился делать качественные картинки
соцсети начали заполнять фотки мемов переделанные в аниме, в стие "Ghibli", насколько я понял это название студии которая сделала мультики: Унесенные призраками, Мой сосед Тоторо, Ходячий замок и др.
Чтобы сделать вашу фото в таком стиле просто отправьте в ChatGPT свое фото и напишие "Сделай в стиле студии Ghibli" или просто "сделай фото в стиле Ghibli" 👍
#ai | @andreyposnov
Илон Маск подтвердил запуск Grok (аналог ChatGPT от Х/Твиттера) в телеграм
Еще Павел Дуров недавно приобрёл юзернейм elonmusk в Telegram, а Илон поздравил Павел с преодолением отметки в 1 миллиард активных пользователей в телеграме
Есть бот с таким ником @GrokAI, без ограничений на количество запросов. Но он пока гордо молчит, возможно юзернейм будет другой. upd: бот пока лежит из за наплыва пользователей upd 18:06: работает 👍
🎁Будет бесплатно для всех премиум пользователей телеграма
В любом случае прикольное партнерство
А еще вчера обновился ChatGPT, научился создавать изображения и видео намного лучше, редактировать изображения, удалять фон, редактировать недостатки (как фотошоп), но работает медленнее чем Grok (пока что)
#ai | @andreyposnov
⚡️В Grok (AI от сети X/Twitter) появилась возможно редактировать фото.
Пока что работает только в веб версии x.com , нужна выбрать “edit image”, можно меня фон, попросить заменить футболку на пиджак и тд., как текстовый фотошоп)
На след новый год шапочку на аватар буду одевать уже с помощью ai 👍
#ai | @andreyposnov
MIT обновили свой курс по Deep Learning - теперь он содержит самую свежую информацию на 2025 год.
Там про LLM, компьютерное зрение (CV) и обработка естественного языка (NLP).
Первая лекция – тут (уже вышло 3 лекции), полный список лекций и слайды к ним доступны тут . (выходят каждый понедельник до 5 мая)
Все бесплатно, ну точнее за это заплатили уже Google, Microsoft, Liquid, Comet и др., чтобы популязировать это.
А вот еще полезные видосы если пропустили от Andrej Karpathy (работал над AI в Tesla, и сейчас в OpenAI).
Введение в LLM
Глубокое погружение в LLM
Я где-то давно слышал, что если вам кажется, что-то происходит "магически", значит вы не понимаете как это работает.
Мне кажется это интересно, для будущего, чтобы понимать что стоит за всей этой "магией" чатгпт и других AI инструментов.
Вы изучаете проф материалы (видео/статьи) на английском языке?
👍 - пока нет, но хочу
❤️ - да, это часть моего професионнального развития
🔥 - нет и не хочу, хватает материалов на русском языке
#ai | @andreyposnov