🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
Сделал сегодня небольшой ролик, заодно протестировал некоторые возможности Gen-3 и Luma.
Скоро покажу ещё один, должно получиться интересно)
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
✅Как ускорить создание продукта с помощью AI: инструменты и кейсы
Недавно наш материал был опубликован на канале СберСтартап . В нем мы собрали полезные AI-инструменты, которые помогают на всех этапах создания MVP — от анализа рынка до финмоделей и прототипов. Дополняем тему ссылками и кейсами из нашего канала.
🔸Анализа рынка
Проблема: быстро проанализировать большое количество рыночных отчетов, выгрузок и количественных репортов.
Решение:ChatGPT, GigaChat* — для автоматизации процесса обработки информации.
Результат: саммари рыночных отчетов, ускорение процесса принятия решений.
📎Изучаем клиентский опыт: готовимся к интервью с открытыми вопросами
🔸Анализ ЦА
Проблема: провести глубинное интервью с клиентами, но бюджет ограничен.
Решение: Character.ai для создания скрипта интервью, solvt.ai для проведения и аналитики интервью.
Результат: Создан скрипт для интервью. AI-агент провел интервью по скрипту через Voice Mode.
📎Как найти возможности для применения AI в вашем продукте
📎Анализируем отзывы с помощью AI и улучшаем продукты
📎Кейс: “Подготовка к докладу по развитию ИИ в России”
🔸Генерация макетов
Проблема: создать прототип без участия дизайнеров, используя фото с настенной доски.
Решение: Uizard для автоматической генерации макетов, НейроХудожник* , Fabula-AI*, ACETONE.AI*.
Результат: готовый кликабельный прототип за 5 минут с возможностью доработки и тестирования сценария в Uizard.
📎Генерация логотипов вместе с Ironov
📎Создаем инфографику с помощью Infogram
📎Дизайн платформа + AI
📎Uizard - AI-прототипирование и дизайн интерфейсов
🔸Генерация видео
Проблема: подготовить референс-ролик или креатив, чтобы рассказать клиентам о продукте.
Решение:Fusion Brain, StableVideo, Genmo, Luma AI, Speeek.io, VideoNeuron*.
Результат: короткий ролик или креатив создан без привлечения дополнительных специалистов для тестирования вместе с продуктом.
📎Оживляем фото с HeyGen
📎Кейс: Генерация ролика на основе сценария
📎Кейс: Создание сценария для рекламного видеоролика
📎Создаем себе выходные мечты
📎Эксперименты с генерацией видео
📎Фановая AI-видео модель для оживления фото
📎Stable Video - генерация видео по тексту и изображению
📎Invideo AI - видеоролик по текстовому промпту
🔸Финмодель и монетизация
Проблема: рассчитать финмодель стартапа с детальной разбивкой доходов и расходов, а также составить стратегию монетизации и описать риски.
Решение:System Prompt Generator, Finix.biz для автоматического создания финмодели.
Результат: системный промпт для составления детализированной финмодели за 20 минут.
📎AI - финансовый ассистент
🔸Подготовка коммерческого предложения
Проблема: в B2B сфере без коммерческого предложения сложно получить обратную связь от потенциальных клиентов.
Решение: инструменты Gamma и Tome для автоматического создания коммерческих предложений, Speransky* - анализ документов.
Результат: готовая презентация с предложением провести демо вашего продукта.
📎Презентации на новом уровне с AI и видео-селфи
📎Napkin.ai — помощник для создания визуализаций
📎Создаем презентацию в ИИ-инструменте Gamma
📎AI Video2pptx
📎Превратить любой контент в презентацию
🔸Подготовка ассистента
Проблема: оплата рабочего времени сотрудников для ответов на простые вопросы о продуктах бизнеса.
Решение: SaluteBot* и GigaChat* для создания телеграм-бота с искусственным интеллектом.
Результат: Телеграм-бот с LLM и RAG-базой знаний, который самостоятельно отвечает на большинство вопросов клиентов.
📎Кейс: Создаем телеграм-бота с GigaChat
📎Агенты, которые подстраиваются под вас
📎Внимание на CoPilot
Еще несколько решений
Для разработки: CODE.AI*, Documate*.
Продажи: Panteo.ai* , SalesAI*.
Создание презентаций: Fibonacci*.
Работа с патентами: PatentCore*.
* Российский стартап
#ИИ#GPT#AI#нейросети
———
#Инструменты#Подборки
✍️Подписывайтесь: @aiforproduct
✏️Генерация логотипов вместе с Ironov
Это сервис, разработанный Студией Артемия Лебедева, который с помощью нейросети создает уникальные логотипы.
Мы протестировали Ironov благодаря бесплатному доступу, который нам предоставили друзья. Это был пакет на 3 проекта (обычная стоимость — 19 900 рублей). В этот пакет входит до 3000 вариантов логотипов и 10 дизайн-пакетов с логотипом в высоком разрешении.
Для генерации логотипов мы вводили название компании и её описание в произвольной форме — кратко, чтобы дать общее представление о характере бизнеса.
По функционалу всё достаточно гибко: можно выбрать стиль логотипа — абстрактный, с символом, без графики или с инициалами. Также можно настраивать цвет и шрифт (хотя их не так много, но для базовых задач подходит). Мы тестировали на трех проектах: компании «Друг», компании «Friend» и косметологическом салоне «Косметолоджи». Варианты получились смелые, но не всегда передавали идею названия. Зато для тех, кто ищет свежий взгляд и хочет выделиться — должно зайти.
Этот сервис может быть полезен дизайнерам, которые хотят быстро генерировать много идей. Но надо иметь в виду, что подходы тут скорее авангардные, и более консервативным дизайнерам (особенно из “советской школы”) некоторые решения могут показаться слишком современными.
➕Основные возможности сервиса:
- Генерация от 300 логотипов (в зависимости от тарифа)
- Выбор стиля: текст, символы, инициалы
- Примерка на носителях: логотип сразу можно увидеть на визитках, одежде и других вещах
- Дизайн-пакеты с логотипами в масштабируемом формате
- Адаптация под соцсети и другие носители
🔖Минусы, которые стоит учитывать:
- Сервис не предлагает бесплатного доступа, даже для тестирования требуется оплаченный тариф.
- Генерация логотипа ограничена, и для полноценного оформления бренда (обложек, баннеров для соцсетей и т.д.) понадобится дизайнер для адаптации под платформы.
- Не всегда удаётся точно передать идею компании, особенно если название требует ассоциативного подхода.
- Ограниченный выбор шрифтов и цветовых схем, хотя для базовых задач этого может быть достаточно.
🔮Для желающих проверить Ironov в деле, друзья из Студии поделились с нами промокодом на скидку 20%: AI20
#ИИ#GPT#AI#нейросети#Ironov
———
#Инструменты
✍️Подписывайтесь: @aiforproduct
💬Простота управления задачами прямо в Telegram
Мы протестировали бота Dola AI — ассистента, который превращает любые заметки и сообщения в упорядоченные задачи и напоминания. Можно пересылать ему голосовые сообщения с деталями встреч, скриншоты из писем или просто текстовые описания задач, и он тут же добавит всё в ваш календарь. Напоминания приходят как обычные сообщения.
🎩Чем хорош Dola AI?
Его можно использовать самостоятельно, как личного планировщика, или добавить в рабочие чаты. Если в беседе всплывают слова вроде "напомни", "встреча" или "запланируй", бот считает это указанием создать событие. Но иногда его приходится тегнуть, чтобы он точно уловил задачу.
🔵Еще из плюсов: он прекрасно ориентируется в разных формулировках. Не обязательно уточнять точную дату — достаточно сказать, например, “через две недели во вторник” или “через три с половиной часа”, и бот безошибочно переведет это в точные дату и время.
Кроме этого, Dola AI умеет синхронизироваться с Google Calendar, Apple Calendar и CalDAV, что позволяет видеть и обновлять своё расписание на всех устройствах.
🔵Можно вывести план на ближайшие дни или заглянуть на месяцы вперёд — всё прямо в ТГ или в основном приложении, которое также открывается через Telegram.
Dola AI доступен бесплатно! В ТГ находятся несколько ссылок на бота (выглядят все одинаково, делают все тоже самое). Но эта на Dola AI с их сайта.
Если у вас десятки чатов, а единой CRM нет, Dola AI — это настоящий спасатель для того, чтобы “вспомнить всё” и не опоздать никуда.
#ИИ#GPT#AI#нейросети#планировщик
———
#Инструменты
✍️Подписывайтесь: @aiforproduct
⚡️Google is sitting on a mountain of data and TPUs.
And it's finally paying off. Google has not only caught up, it is overtaking the competition. Admittedly: OpenAI has attracted attention with its image model. But Google should by no means be forgotten.
On the contrary: now that they have shown what they are capable of with their latest models and have also entered the field of robotics, I have high hopes that this will further intensify the competition.
➖➖➖➖🔻
💎@Chatgpt_OfficialNews – Stay Updated! ⚡️
🧠 BOT: @Chatgpt_OfficialBOT
#️⃣#OpenAI#AI#GPT#ChatGPT#Chatbot#GPT4O#Gemini#Google
➖➖➖➖🔺
🎙Клонируем голос за пару минут — тестируем Hailuo AI для озвучки текста
Делимся интересной находкой для тех, кто работает с озвучкой текста. Протестировали Hailuo AI, и результат впечатлил!
Что особенно хорошо:
• Озвучка происходит практически моментально, не нужно долго ждать результата
• В библиотеке есть готовая коллекция голосов на выбор. Доступен русский язык. Есть женские и мужские голоса, а также можно выбрать голос по возрасту
• А самый топ — можно создать клон своего голоса!
Как это работает: записываете себя всего 5-20 секунд, и программа на основе этой записи создаёт ваш цифровой голос. После этого любой текст можно озвучить своим голосом. Результат получается настолько реалистичным, что если не знать — даже можно не догадаться, что это AI!
Сейчас программа находится в бета-версии, вход через Google-аккаунт, информации о лимитах и ценах пока не нашли, работали без ВПН. 🔥
На видео показываем, как это работает на практике. Попробуйте — это прикольно!
#ИИ#AI#Нейросети#Hailuo
———
#Инструменты#Аудио
✍️Подписывайтесь: @aiforproduct
Обнаружение заимствований – 2024
Уже послезавтра, 24 октября в 10:00 (мск) состоится громкое научное событие осени 一 IX международная научно-практическая конференция «Обнаружение заимствований – 2024»!
24 и 25 октября обсудим самые важные и актуальные проблемы академического сообщества. Поговорим о применении в науке ии-технологий, разберём этические и юридические аспекты проблемы и рассмотрим новые методы в обнаружении неправомерных заимствований!
Ждём всех желающих.
Зарегистрироваться можно по ссылке: ozconf.ru/reg
Участие бесплатное.
#диссертации#конференция#обнаружение_заимствований#спикеры#знакомство#плагиат#chatgpt#ai#ИИ#алисаGPT
Обнаружение заимствований – 2024
Уже послезавтра, 24 октября в 10:00 (мск) состоится громкое научное событие осени 一 IX международная научно-практическая конференция «Обнаружение заимствований – 2024»!
24 и 25 октября обсудим самые важные и актуальные проблемы академического сообщества. Поговорим о применении в науке ии-технологий, разберём этические и юридические аспекты проблемы и рассмотрим новые методы в обнаружении неправомерных заимствований!
Ждём всех желающих.
Зарегистрироваться можно по ссылке: ozconf.ru/reg
Участие бесплатное.
#диссертации#конференция#обнаружение_заимствований#спикеры#знакомство#плагиат#chatgpt#ai#ИИ#алисаGPT
#смыслы#концепции#ЭЗЦ#социальныйкапитал
Есть в нашем узком профессиональном кругу, “страшно далеком от народа”, две категории граждан.
Одни, “об которых” очень полезно подумать, такие, из редких, но ценнейших встреч с которыми (собираемся часто по полгода, встречаемся на час-полтора и все равно на бегу) рождается что-то невероятно полезное для “обчества”. Копим-копим в себе, потом, бац, садимся вроде обсуждать какую-то прикладную проблемку, а решение получается большим, гармоничным, системным.
Вчера с невероятной Юлией НАЗАРОВОЙ из фонда “Банк еды #Русь” вот так, запросто, на салфетке в кафе набросали масштабнейшую идею, которая будет полезна (уверена в этом) всем, кто всерьез, а не на слайдах, строит у себя в бизнесе или отрасли экономику замкнутого цикла (в быту именуемую #ЭЗЦ).
И ощущение от таких встреч прекрасное. И понимание, что если такие, как Юлиа, люди берутся за проект, то все сложится (как в случае со справедливым, недискриминационным налогообложением продуктовой благотворительности бизнеса, о котором писала ранее, — немало лет ушло, но у Юлии всё получилось).
…И есть другие. Знаете, такие, гиперактивные, у которых глаза горят примерно всегда, о чем бы речь ни заходила, местами очень напоминающие “обезьяну с гранатой”. Такие всегда “в тренде”, щедро приправляют свои дискурсы правильной терминологией, вчера они были на пике #EQ, #человекоцентричности, и цепочек поставок, сегодня — в эпицентре #AI и “суверенизации” повестки, в том числе и #ESG…
С немалым изумлением узрела, например, в анонсе одного из деловых форумов, претендующих на инжиниринг смыслов для вечно взыскующего себе оправданий предпринимательского класса, вдохновленное лицо одного такого коллеги, некогда причислявшего себя к небольшой когорте мужественных (и, как правило, маскулинных), спасителей человечества, — коллега оказался заявлен в числе спикеров с темой (на этот раз) …#социальногокапитала.
Уверена примерно на 100 процентов, что коллега ухватил тиражируемое сейчас на все лады словосочетание почти как румяный пончик с полки, между делом, чтобы ловко прилепить его к своей из года в год не меняющейся однообразной мантре. Мантра не меняется, поскольку не меняется исполнитель. А вишенки на торте или румяные пончики на упаковке нужны свеженькие, да.
☕️Доброе утро киберпонедельника!
🤖ИИ - доступный и удобный инструмент.
Он помогает собирать информацию,обрабатывать данные и создавать контент.
📌Но его применение сопряжено с серьезными рисками и вот о чем нужно помнить.
1️⃣
Сохраняйте критическое мышление и проверяйте факты
ИИ может ошибаться, выдумывать ссылки или факты
(«галлюцинировать»)
.
2️⃣
Не делитесь личными данными
Никогда не вставляйте в запросы паспортные данные, номера карт, пароли или медицинские данные.
3️⃣
Помните про конфиденциальность и не сообщайте чувствительную информацию
Читайте политику сервиса: кто может видеть ваши запросы и как они хранятся. Удаляйте историю, если нужно.
4️⃣
Используйте надежные сервисы
Выбирайте проверенные платформы и приложения с хорошими отзывами и прозрачными условиями.
5️⃣
Будьте внимательны к фейкам и манипуляциям
Генерация фото, видео и текста может выглядеть правдоподобно, но быть ложью. Проверяйте источники и ищите подтверждение.
6️⃣
Задавайте конкретные запросы и уточняйте ответы
Чем яснее вы спрашиваете, тем полезнее ответ. Проверяйте, просите источники и уточнения.
7️⃣
Этичное использование контента
Если вы создаёте видео, изображения и т.д. с помощью ИИ, указывайте это и не присваивайте чужую работу.
8️⃣
Учитесь и помогайте другим
Объясняйте пожилым и детям, как безопасно пользоваться ИИ, и подсказывайте простые правила.
📌Используйте ИИ осознанно и в разумных пределах: тогда он будет работать на вас.
#киберпонедельник#кибербезопасность#ии#беларусь#digital#ai
📌Подписаться
✴️Голосовать за канал