🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
Happy me and ...
At least this way I can get closer to my dream of talking to Vladimir Vladimirovich.
🔻You can use this prompt to create a selfie with (Vladimir Vladimirovich Putin) in @GPT4Telegrambot:
⏺Сделай мою фотографию такой, как-будто я спонтанно сделал(-а) селфи с (Владимиром Путиным) на iPhone ночью на улице. Атмосфера непринуждённая, кадр реалистичный с размытостью. Фото должно выглядеть случайным, как-будто сделанным на ходу.
💓 What Russian famous person would you like to take selfie with? My choice is in the photo! Share yours in the comments!
#AI
😎RCR | Support | Boost
Пользователи ChatGPT стали чаще использовать нейросеть как советчика по отношениям, — рассказал аналитик Bloomberg.
Переписки, фотки, иногда голосовые — всё закидывают в ИИ. Нейросеть разбирает, что вообще происходит в паре, где были недопонимания, кто на что остро реагирует. И кидает подходящий текст для ответа.
Современный любовный треугольник: он, она и ChatGPT
JDMax #ai
На главной странице Яндекса появилась нейроёлка — каждое украшение на ней уникально и создано пользователями вместе с Алисой AI.
Присоединиться очень просто: зайдите на ya.ru или откройте приложение «Яндекс» и сгенерируйте свою игрушку в пару кликов. Справится любой, даже если вы никогда раньше не сталкивались с нейросетями.
Встречаемся на нейроелке🎄
JDMax #ai
Канадский стартап Umia выпустил компактный аппарат для маникюра с ИИ. Достаточно поместить палец внутрь — встроенная камера сканирует размеры и форму ногтя, затем машина наносит и закрепляет три слоя гель-лака.
На каждый ноготь уходит примерно полторы минуты, а на весь процесс — не более 20 минут.
Umia натренировали нейросеть на 120 тыс. изображений ногтей. Также алгоритм дообучается на обратной связи после каждого маникюра.
Аппарат пока не умеет снимать старый лак, подпиливать ногти и убирать кутикулу.
JDMax #ai
Журнал Time выбрал «человека года», на обложке сразу несколько «архитекторов ИИ».
На строительной балке сидят: Цукерберг, Лиза Су (AMD), Маск, Дженсен Хуанг, Альтман, Демис Хассабис (Google), Дарио Амодей (Anthropic) и Фэй-Фэй Ли (ImageNet).
JDMax #ai
O'zbek kompyuter o'rganuvchilarini kompyuter o'rganishda qiynaydigan top 10 ta muammo
#AI
🤖ChatSonic:
O‘zbekistonliklar kompyuter bilimlarini o‘rganishda duch kelishi mumkin bo‘lgan 10 ta asosiy muammo:
1. Kompyuterni o'rganishga motivatsiya va qiziqishning yo'qligi
2. Texnik terminologiyani tushunish qiyinligi
3. Amaliyot va o'rganish uchun vaqt yo'qligi
4. Kompyuterlar va internetga kirish cheklangan
5. Infratuzilmaning yetarli emasligi va eskirgan texnologiya
6. To'g'ri yo'l-yo'riq va yordamning yetishmasligi
7. Xato qilishdan qo'rqish
8. Tushunchalarni eslab qolish va qo'llashda qiyinchilik
9. Mavzuga qiziqishning yo'qligi
10. Ta'lim va resurslarning yetishmasligi
🧐 Yuqoridagi javob AI'ning javobi hisoblanadi, bu borada Sizning fikringiz qanday? Siz qaysi raqamdagi sabablarga qo'shilasiz va yechim sifatida nimani ko'rasiz?
💻 Kompyuterni birga o'rganamiz ⤵️
TelegramIInstagramITikTok
Илон Маск, Стив Возняк и сотни учёных подписали открытое письмо с требованием приостановить разработку ИИ.
По их мнению, нейросети развиваются слишком быстро и уже сегодня могут представлять угрозу человечеству. Эксперты сравнивают нынешний прогресс с созданием ядерной бомбы времён Оппенгеймера.
👍🏻 - если согласны с ними
🔥 - я пользуюсь нейросетями
JDMax #ai
Яндекс представил крупнейшее обновление за всю историю помощника. В честь релиза образ Алисы сегодня появится на одном из крупнейших экранов столицы.
Алиса AI — нейросеть, в которой появятся ИИ‑агенты для широкого круга пользователей. В ближайшее время она возьмет на себя рутину: запишет на стрижку, забронирует столик в ресторане и найдет товары по заданным параметрам.
Также добавят функцию «Моя память»: можно будет наговорить задачи голосом, а система аккуратно их структурирует, сформирует понятные списки дел и напомнит о них в нужный момент.
JDMax #ai
OpenAI выпустили Atlas — браузер, где ChatGPT будет делать всё за вас: напишет, закажет, заплатит, объяснит. Уже доступен на MacOS.
Пока вы гуглите, нейросеть учится гуглить как вы , а OpenAI, видимо, получат идеальную базу для обучения.
JDMax #ai