🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
ChatGPT может полностью заменить вамриелтора — мужчина продал свой дом всего за 5 дней и сэкономил почти $25 тысяч на комиссии.
Он поручил все задачи нейронке: от оценки цены до ответов покупателям и составления договора. Итог эксперимента — дом ушёл… за 5 дней.
Средний срок продажи с риелтором — 25+ дней, а комиссия обычно составляет 5–6% от сделки. На доме за $400 тысяч это примерно $20–24 тысяч за посредничество.
JDMax #ai
Bu binoni qurishni tugatib qo'y...
#AI / @allaevuzb
Hey Chat GPT,
Bu binoni qurishni tugatib qo'y ...
😎 Kreativ reklamalarni yaxshi ko'raman. Chat GPT va sun'iy intellekt ish o'rinlarini tortib olishini ko'p xavotir bilan gapiramiz. Zamonaviy texnologiyalar ish o'rnimni olib qo'yadi degan xavotir ludditlardan beri bor.
Bu reklamada Impact kompaniyasi quruvchilarni ishga chaqirmoqda.
Ularning mahoratini alishtirib bo'lmasligiga alohida urg'u qilinmoqda.
💻 Kompyuterni birga o'rganamiz ⤵️
TelegramIYouTubeIInstaITikTok
Где человек, а где ИИ?
Проверяем себя, а ответ смотрим в конце.
Новое исследование показало: люди уверены, что без проблем отличат настоящие фото от нейросети … и большинство ошибаются.
• Участникам исследования показывали лица и просили решить, кто «живой», а кто цифровой. Уверенность была высокая, а точность - почти случайная.
Раньше ИИ выдавали кривые уши, стеклянные глаза и фоны из параллельной вселенной. Теперь генераторы научились делать лица без очевидных косяков - кожа, свет, симметрия, всё как у людей.
В 2026 году лицо - уже не гарантия подлинности.
Ответ: 2, 3, 5, 8, 9 и 11 - ИИ
🔥 — я угадал/а!
👍 — не всё совпало
JDMax #ai
В прямых эфирах в Китае ведущие больше не говорят
Они стоят перед камерой молча, а нейросеть генерирует речь и мимику.
Полностью убрать человека нельзя, объясняют авторы: платформы требуют в кадре реального человека, иначе режут трафик или банят.
JDMax #ai
Anthropic выпустила Claude Opus 4.6
Это обновление флагманской модели, которое впервые для линейки Opus получило контекстное окно в 1 млн токенов (в бета-версии) и выход до 128 тысяч токенов.
Модель показывает себя лучше конкурентов в кодинге, тексте и работе с данными.
JDMax #ai
Аналитики говорят, что чаще всего люди используют Алису AI как быстрый тест на адекватность происходящего «нормально ли...»
Чаще всего проверяют здоровье: «нормально ли болеть всего 1 день» или «весить 50 кг в 11 лет», потом питомцев (кошка храпит, крыса грызёт пластик), затем эмоции и отношения (плакать на людях, не жениться в 25, парень «где-то» в 2 ночи).
И только после этого — техника и быт: искрят щётки в дрели, греется ноутбук в игре.
Нормально ли доверять Ai?
👍🏻 - да, спрашиваю
🔥 - не верю
JDMax #ai
Ученые из Оксфорда поделили пользователей ChatGPT после исследования 344 первых пользователей. Выделили 4 вида:
Энтузиаст ИИ — 25,6% юзеров. Обожают бота и разговаривают с ним, как с другом.
Наивный прагматик — 20,6%. Всё равно на нейронки, лишь бы работало.
Осторожный новичок — 35,5%. Взвешивают каждый запрос и читают политику конфиденциальности.
Робкий исследователь — 18,3%. Зашли в чат 1 раз, чтобы посмотреть, что это.
JDMax #ai
Сэм Альтман представил стартап, который занимается слиянием мозга и ИИ без чипов. На разработку выделены все необходимые ресурсы.
Суть проекта: человек формулирует вопрос в голове, и ChatGPT его считывает. Ответ будет передавать в виде ощущений, образов или мыслей.
JDMax #ai