🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
OpenAI выпустили гайд по новой GPT-5.5 — привычные длинные промпты теперь не работают.
Теперь советуют писать прямо: что именно нужно на выходе, какие есть ограничения и что считать хорошим ответом.
самым рабочим промптом скоро будет «сделай нормально»👌
JDMax #ai
Парень сфоткал свой сэндвич с пиццерии, скинул в новый ChatGPT и попросил сделать рекламу — результат на картинке.
Промпт умещался в 6 строк: фон-градиент, мягкий свет «как у Apple», типографика по центру, слоган, «ультрачистый минимализм, 8К». Всё.
маркетологам на заметку
JDMax #ai
GPT Image 2 вышла в топ и разнесла конкурентов на Arena AI.
Модель от OpenAI заняла первое место во всех категориях — от фотореализма до 3D, а отрыв от Nano Banana 2 превысил 240 баллов.
JDMax #ai
GPT Image 2 вышла! Появились пользовательские тесты новой модели.
Вторая версия умеет создавать интерфейсы, сложную инфографику, тексты и символы без артефактов. Попробовали сгенерировать инфографику «Как работает ChatGPT» — получилось качественно.
Пишут, что доступно для всех пользователей. Проверяем тут.
JDMax #ai
Полезный промт: в сети хайпит запрос для ИИ, который превращает любое селфи в идеальное фото для документов:
Create a professional, high-resolution ID photo with a clean white background. The person should be centered in the frame, well-lit, and presented with balanced, even lighting free of harsh shadows. Maintain the person’s natural appearance while subtly enhancing facial features with soft, well-blended makeup and a clear, natural skin texture. The person should wear neat, business-appropriate clothing, have well-groomed hair, and display a calm, confident facial expression. Ensure the face is sharp, clear, and naturally presented, with an overall polished and professional studio-quality look.
JDMax #ai