TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #9736 · 25 мар.

📌Google разработала алгоритм квантования KV-кэша без потери точности. Подразделение Research анонсировало TurboQuant, алгоритм векторного квантования, объединяющий 2 других метода - QJL и PolarQuant, который решает проблему увеличения KV-кэша при работе с длинным контекстом. TurboQuant будет представлен на ICLR 2026, PolarQuant - на AISTATS 2026. KV-кэш хранит промежуточные представления токенов, чтобы модель не пересчитывала их на каждом шаге генерации. С ростом контекста он превращается в узкое место по памяти. Обычное векторное квантование сжимает эти данные, но вносит накладные расходы: для каждого блока нужно хранить константы квантования в полной точности, а это плюс 1–2 бита на элемент, что частично обесценивает само сжатие. 🟡TurboQuant - двухэтапный пайплайн. Сначала PolarQuant: случайный поворот выравнивает геометрию векторов, после чего они переводятся из декартовых координат в полярные (радиус и угол). Распределение углов оказывается предсказуемым и сконцентрированным, поэтому нормализация и хранение дополнительных констант становятся больше не нужны. На втором этапе подключается QJL, метод на основе преобразования Джонсона-Линденштраусса, который кодирует остаточную ошибку первого этапа всего одним знаковым битом и через встроенную оценочную функцию сочетает высокоточный запрос с низкоточными сжатыми данными, корректно вычисляя attention score. Ни один из методов не требует обучения или дообучения и работает в режиме "без предварительного анализа набора данных". Алгоритмы тестили на бенчмарках для длинного контекста: LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval с моделями Gemma и Mistral. При квантовании KV-кэша до 3 бит TurboQuant показал нулевую деградацию точности на всех задачах: поиск «иголки в стоге сена», QA, генерация кода, суммаризация. Объем KV-кэша при этом сократился в 6 раз. На H100 четырехбитный TurboQuant ускорил вычисление attention-логитов до 8 раз по сравнению с 32-битными ключами. Область применения не ограничивается KV-кэшем. В экспериментах с высокоразмерным векторным поиском TurboQuant стабильно превзошел по recall методы PQ и RaBitQ несмотря на то, что те использовали крупные код-буки и подстройку под конкретный датасет. 🟡Статья 🟡Arxiv @ai_machinelearning_big_data 🎯Полезные Мл-ресурсы🚀Max #AI#ML#LLM#TurboQuant#Google

Результаты

Найдено 16 похожих постов

Илья AGI TV 🤖

@ilia_plasma · Post #599 · 23.12.2024, 08:57

#Google решил ворваться в рынок видео AI генераторов и выкатил свой Veo 2. OpenAI Sora просто курит в сторонке глядя на такое качество физики.

Hashtags

Илья AGI TV 🤖

@ilia_plasma · Post #347 · 06.12.2023, 15:22

💎 Google запускает Gemini AI, которая лучше чем chatGPT 4 и проинтегрирована во все продукты #Google. Основные моменты: Мультифункциональность: Gemini разработана с нуля как мультимодальная модель, способная обрабатывать и объединять текст, код, аудио, изображения и видео​​. Гибкость и Оптимизация: Модель представлена в трех вариациях: Gemini Ultra для сложных задач, Gemini Pro для широкого спектра задач и Gemini Nano для задач, выполняемых на устройствах​​. Превосходящая Производительность: Gemini Ultra превзошла человеческих экспертов в тестах на многоязычное понимание, а также показала впечатляющие результаты в задачах, связанных с текстом и программированием​​​​​​. Продвинутое Мультимодальное Рассуждение: Gemini обладает способностью к сложному рассуждению, что делает её особенно подходящей для понимания и объяснения тем в области математики и физики​​​​. Эффективность и Надежность: Обучение Gemini 1.0 проводилось на специализированных AI-оптимизированных инфраструктурах, используя процессоры Google Tensor Processing Units​​. Ответственный и Безопасный #AI: Google уделяет особое внимание безопасности и ответственности, внедряя новые меры защиты для учета мультимодальных возможностей Gemini​​. Широкое Применение: Gemini уже внедряется в продукты Google, включая Bard и смартфоны Pixel, а также будет доступна через API для разработчиков и предприятий​​. Планы на Будущее: Для Gemini Ultra в настоящее время проводятся обширные проверки безопасности и доводка модели, после чего она станет доступна для широкой публики​​. 🔥 Чат для общения с моделью Gemini Pro завезли в Bard: https://bard.google.com/chat

Hashtags

Ali Kuzhuget (AI, NLP, keyboards, Dev)

@AliKuzhuget · Post #106 · 27.07.2025, 17:11

Через неделю будут готовы переводы датасета SMOL от Гугла с Английского на Русский. Потом еще вычитка будет. Этот сбалансированный датасет для улучшения переводчика Гугла. Это позволит переводчикам переводить с Русского на свой язык и добавить/улучшить его в переводчике. Предполагаемый релиз будет в следующем году. Датасет содержит 2 таблицы: smolsent, smoldoc. Опционально, есть датасет gatitos (самые популярные слова на английском, нужно перевести/проверить на свой язык). У кого хороший английский, может уже сейчас переводить на свой язык. Кому надо, пишите в комментах. #google

Hashtags

🗣 В последних обновлениях политики конфиденциальности Google разрешила сбор общедоступных данных для обучения продуктов на основе искусственного интеллекта. В версии политики от 1 июля 2023 года сказано, что компания будет собирать данные для обучения ИИ-моделей и развития своих продуктов, таких как Google Translate, Bard и Cloud AI. #Google

Hashtags

🔎Google планирует сделать поисковик более «персонализированным, визуальным, удобным и человечным» с упором на молодежную аудиторию. По данным The Wall Street Journal, техгигант расширит систему чатом с ИИ под кодовым названием Magi. Также он уделит больше внимания ситуациям, когда традиционная выдача не может служить ответом на запрос. В таких случаях поисковик попросит задать дополнительные вопросы или предложит больше визуальных элементов вроде видео из TikTok. 📅 Ожидается, что компания представит новые функции на мероприятии Google I/O, которое состоится 10 мая 2023 года. #Google

Hashtags

🌐Googleдобавит в Chrome 113 функцию WebGPU, позволяющую использовать видеокарту для ускорения ИИ, онлайн-игр и графики. API будет включен по умолчанию на ПК с Windows с поддержкой Direct3D 12, MacOS (Metal) и ChromeOS (Vulkan). По данным компании, WebGPU позволит разработчикам достичь существующего уровня графики с гораздо меньшим количеством кода. Также он обеспечит более чем трехкратное ускорение логических выводов моделей машинного обучения. 🧱 В Google также заявили, что релиз Chrome 113 служит «строительным блоком» для грядущих обновлений и улучшений, обещая более продвинутые графические функции и глубокий доступ к ядрам шейдеров в будущем. #Google

Hashtags

👀Googleоткрыла доступ к Immersive view в Maps некоторым пользователям. Функция предназначена для просмотра фотореалистичных 3D-репродукций городов. При ее разработке инженеры объединили «тысячи снимков» Street View для создания точных копий различных локаций. 📆 В феврале 2023 года Google заявила, что система стала доступна в Лондоне, Лос-Анджелесе, Нью-Йорке, Сан-Франциско и Токио. Однако тогда мало кто обнаружил эту функцию в Maps. Теперь журналисты Gizmodo подтвердили, что Immersive view доступна в Лос-Анджелесе, Нью-Йорке и даже в Берлине. Также некоторые пользователи смогли протестировать функцию в Лондоне. 🗺 По данным Google, следующими городами, которые получат иммерсивное представление, будут Амстердам, Дублин, Флоренция и Венеция. #Google

Hashtags

📱 СМИ: смартфоны Google Pixel 8, вероятно, получат ИИ-инструмент повышения резкости видео Video Unblur. Журналисты 9to5Google проанализировали программный код APK-файлов для приложения Photos, загруженных компанией в Play Store. В результате декомпиляции они смогли запустить пользовательский интерфейс для инструмента и протестировать технологию. 📆 Video Unblur не смог заметно изменить видео. Вероятно, система все еще находится на стадии разработки. Ожидается, что Google покажет инструмент на конференции I/O 2023 10 мая. #Google

Hashtags

👀 Исследователи Google Researchразработали ИИ-модель Spotlight, способную одновременно решать несколько задач пользовательского интерфейса (UI). Система базируется на нейросетях-трансформерах для распознавания изображений ViT и преобразования «текста в текст» T5. Входные данные алгоритма могут включать три элемента: скриншот, определенную область на экране и текстовый запрос. В результате модель выдаст словесное описание или ответ на интересующий вопрос. ⚙️ По словам разработчиков, Spotlight существенно повышает точность выполнения UI-задач, включая создание подписей к виджетам, сводок экранов, привязки команд и прогнозирование нажатий. #Google

Hashtags

📱Googleвыпустила бета-версию системы рекламных профилей Privacy Sandbox для Android. Технология представляет собой набор инструментов, призванных задать новый стандарт доступа рекламодателей и сайтов к информации о потребителях без компрометации конфиденциальности данных. На сегодня каждому Android-устройству присваивается уникальный идентификатор Advertising ID. Он позволяет отслеживать поведение пользователя и создавать личный рекламный профиль, который могут использовать разработчики. 🔎 Privacy Sandbox заменит идентификаторы API со списком интересов потребителей. Затем система сравнит их с базой данных Interactive Advertising Bureau и сведениями Google. Рекламодатели смогут пинговать API, показывая релевантные предложения согласно списку интересов, которые «хранятся всего три недели». В компании отметили, что обработка данных происходит «без привлечения каких-либо внешних серверов, включая Google». 👥 Пока Privacy Sandbox доступна ограниченному числу пользователей устройств с Android 13. #Google

Hashtags

12
НазадСтр. 1 из 2Вперёд