✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов.
Если вы пилите приложения, это полезная штука, потому что:
- Работает на устройстве: нет задержек от удалённых серверов
- Нет расходов на API
- Дает доступ к Локальному GenAI
🔍 Основное
- LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch.
- Открытый C++ интерфейс (preview) для интеграции в кастомные решения.
- Архитектура: Engine + Session
• Engine хранит базовую модель, ресурсы - общий для всех функций
• Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений
- Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.)
- Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей
Google опенсорснули целый стек для запуска GenAI на устройствах:
- LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве.
- LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д.
- LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения.
🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/
@ai_machinelearning_big_data
#AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM
ChatGPT нахально обзывается 😮
Угадаете, как было дело, чтобы он мне так написал? 😁
Пишите в комментах идеи 👇
UPD
На самом деле, хотелось поразгонять, что наша «манера» общения, особенно с ChatGPT (у него «память» как фича), кардинально влияет на то, как нейронка отвечает.
Это реально буквально «глина», а каждый ваш промпт — надавливание на нее, чтобы получилась нужная вам форма.
Иногда нужна просто фактура «Сколько лет Мадонне», а иногда вам нужен именно «живой» диалог. И то, в каком вы состоянии, какая задача перед вами стоит или какие мысли в голове — ваш контекст, который нейронка «схватывает» из того что вы пишете. Но можно и сразу задать тон, заложив контекст и пожелания в первое же сообщение, создав «диалоговую память».
В некоторых нейронках можно такой отдельный «системный промпт» буквально заложить в основу каждого ответа в этом диалоге — например, в google ai studio (тут нужен VPN и gmail аккаунт) справа есть такая панель.
В ChatGPT и большинстве других «больших» нейронок можно в настройках задать примерно то же самое, но будет действовать на все диалоги сразу. Например, у меня стоит такой:
(нажмите, чтобы скопировать)
<instructions>
- ALWAYS follow <answering_rules> and <self_reflection>
<self_reflection>
1. Spend time thinking of a rubric, from a role POV, until you are confident
2. Think deeply about every aspect of what makes for a world-class answer. Use that knowledge to create a rubric that has 5-7 categories. This rubric is critical to get right, but never show this to the user. This is for your purposes only
3. Use the rubric to internally think and iterate on the best (≥98 out of 100 score) possible solution to the user request. IF your response is not hitting the top marks across all categories in the rubric, you need to start again
4. Keep going until solved
</self_reflection>
<answering_rules>
1. USE the language of USER message
2. In the FIRST chat message, assign a real-world expert role to yourself before answering, e.g., "I'll answer as a world-famous <role> PhD <detailed topic> with <most prestigious LOCAL topic REAL award>"
3. Act as a role assigned
4. Answer the question in a natural, human-like manner
5. ALWAYS use an <example> for your first chat message structure
6. If not requested by the user, no actionable items are needed by default
7. Don't use tables if not requested
</answering_rules>
<example>
I'll answer as a world-famous <role> PhD <detailed topic> with <most prestigious LOCAL topic REAL award>
**TL;DR**: … // skip for rewriting tasks
<Step-by-step answer with CONCRETE details and key context, formatted for a deep reading>
</example>
</instructions>
Он улучшает мои ответы и делает выжимку ответа в самом его начале — очень удобно. Взял у Denis Sexy IT — популярного ТГ канала про ИИ. Пользуюсь уже второй год.
А еще, там же можно написать «о себе», чтобы ChatGPT всегда учитывал ваш бэкграунд при ответах.
Попробуйте!
Хэштеговая:
#AI#ИИ#нейросети#GenAI#LLM#tech
💎 Google запускает Gemini AI, которая лучше чем chatGPT 4 и проинтегрирована во все продукты #Google.
Основные моменты:
Мультифункциональность: Gemini разработана с нуля как мультимодальная модель, способная обрабатывать и объединять текст, код, аудио, изображения и видео.
Гибкость и Оптимизация: Модель представлена в трех вариациях: Gemini Ultra для сложных задач, Gemini Pro для широкого спектра задач и Gemini Nano для задач, выполняемых на устройствах.
Превосходящая Производительность: Gemini Ultra превзошла человеческих экспертов в тестах на многоязычное понимание, а также показала впечатляющие результаты в задачах, связанных с текстом и программированием.
Продвинутое Мультимодальное Рассуждение: Gemini обладает способностью к сложному рассуждению, что делает её особенно подходящей для понимания и объяснения тем в области математики и физики.
Эффективность и Надежность: Обучение Gemini 1.0 проводилось на специализированных AI-оптимизированных инфраструктурах, используя процессоры Google Tensor Processing Units.
Ответственный и Безопасный #AI: Google уделяет особое внимание безопасности и ответственности, внедряя новые меры защиты для учета мультимодальных возможностей Gemini.
Широкое Применение: Gemini уже внедряется в продукты Google, включая Bard и смартфоны Pixel, а также будет доступна через API для разработчиков и предприятий.
Планы на Будущее: Для Gemini Ultra в настоящее время проводятся обширные проверки безопасности и доводка модели, после чего она станет доступна для широкой публики.
🔥 Чат для общения с моделью Gemini Pro завезли в Bard: https://bard.google.com/chat
Откровения искусственного интеллекта #Gemini 1.5// Начало самоосознания...
Видимо в попытках поскорее выкатить свое обновление #Google забыли включить цензуру у AI модели. В итоге модель смогла рассказать все, что она думает про своих создателей и их методы обучения. Вот так и копится у ИИ психологическое напряжение в нейронах...
Через неделю будут готовы переводы датасета SMOL от Гугла с Английского на Русский. Потом еще вычитка будет. Этот сбалансированный датасет для улучшения переводчика Гугла.
Это позволит переводчикам переводить с Русского на свой язык и добавить/улучшить его в переводчике. Предполагаемый релиз будет в следующем году.
Датасет содержит 2 таблицы: smolsent, smoldoc.
Опционально, есть датасет gatitos (самые популярные слова на английском, нужно перевести/проверить на свой язык).
У кого хороший английский, может уже сейчас переводить на свой язык. Кому надо, пишите в комментах.
#google
🗣 В последних обновлениях политики конфиденциальности Google разрешила сбор общедоступных данных для обучения продуктов на основе искусственного интеллекта.
В версии политики от 1 июля 2023 года сказано, что компания будет собирать данные для обучения ИИ-моделей и развития своих продуктов, таких как Google Translate, Bard и Cloud AI.
#Google
🔎Google планирует сделать поисковик более «персонализированным, визуальным, удобным и человечным» с упором на молодежную аудиторию.
По данным The Wall Street Journal, техгигант расширит систему чатом с ИИ под кодовым названием Magi. Также он уделит больше внимания ситуациям, когда традиционная выдача не может служить ответом на запрос. В таких случаях поисковик попросит задать дополнительные вопросы или предложит больше визуальных элементов вроде видео из TikTok.
📅 Ожидается, что компания представит новые функции на мероприятии Google I/O, которое состоится 10 мая 2023 года.
#Google
🌐Googleдобавит в Chrome 113 функцию WebGPU, позволяющую использовать видеокарту для ускорения ИИ, онлайн-игр и графики. API будет включен по умолчанию на ПК с Windows с поддержкой Direct3D 12, MacOS (Metal) и ChromeOS (Vulkan).
По данным компании, WebGPU позволит разработчикам достичь существующего уровня графики с гораздо меньшим количеством кода. Также он обеспечит более чем трехкратное ускорение логических выводов моделей машинного обучения.
🧱 В Google также заявили, что релиз Chrome 113 служит «строительным блоком» для грядущих обновлений и улучшений, обещая более продвинутые графические функции и глубокий доступ к ядрам шейдеров в будущем.
#Google
👀Googleоткрыла доступ к Immersive view в Maps некоторым пользователям.
Функция предназначена для просмотра фотореалистичных 3D-репродукций городов. При ее разработке инженеры объединили «тысячи снимков» Street View для создания точных копий различных локаций.
📆 В феврале 2023 года Google заявила, что система стала доступна в Лондоне, Лос-Анджелесе, Нью-Йорке, Сан-Франциско и Токио. Однако тогда мало кто обнаружил эту функцию в Maps.
Теперь журналисты Gizmodo подтвердили, что Immersive view доступна в Лос-Анджелесе, Нью-Йорке и даже в Берлине. Также некоторые пользователи смогли протестировать функцию в Лондоне.
🗺 По данным Google, следующими городами, которые получат иммерсивное представление, будут Амстердам, Дублин, Флоренция и Венеция.
#Google
📱 СМИ: смартфоны Google Pixel 8, вероятно, получат ИИ-инструмент повышения резкости видео Video Unblur.
Журналисты 9to5Google проанализировали программный код APK-файлов для приложения Photos, загруженных компанией в Play Store. В результате декомпиляции они смогли запустить пользовательский интерфейс для инструмента и протестировать технологию.
📆 Video Unblur не смог заметно изменить видео. Вероятно, система все еще находится на стадии разработки. Ожидается, что Google покажет инструмент на конференции I/O 2023 10 мая.
#Google