⚡️Сбер представил новую систему синтеза речи для ГигаЧата — в одной модели используются сразу несколько разных уникальных голосов под разные задачи
Обновление позволяет генерировать речь в различных манерах — от естественного Freespeech для общения до подкастного формата, интонаций операторов и традиционного дикторского стиля. Звучание стало более органичным и приближенным к человеческому.
Что умеет новый синтез:
- для разных кейсов применения синтеза сделаны отдельные голоса
воспроизводит паузы, смысловые акценты и эмоциональную окраску
- построен на собственной разработке: GigaChat 3b как основа, специализированный токенизатор и адаптер к LLM
- умеет озвучивать тексты бесконечной длины с учетом контекста, а также клонировать голоса
- внутренние замеры демонстрируют прогресс в качестве и натуральности звука
Зачем это нужно:
- помогает создавать более органичные голосовые интерфейсы
- оптимален для разговорных ассистентов, озвучки подкастов или аудиокниг, а также в автоматизированных колл-центрах
Основные преимущества:
- есть возможность выбора голоса, которые подходят под разные задачи
- управление стилистикой и эмоциями на естественном языке
- самый живой синтез речи, ни у Алисы, ни у OpenAI ничего похожего нет
Новый синтез уже доступен в Voice Mode Гигачата.
@ai_machinelearning_big_data
#ai#ml#speech#llm
📌Скорость решает все: обзор эффективных архитектур для LLM.
Ландшафт архитектур LLM превратился в настоящий зоопарк. Почти каждую неделю появляются новые методы, обещающие меньший расход памяти и более быстрый инференс. Разобраться в этом становится все сложнее.
Большая группа исследователей выпустила подробный обзор Speed Always Wins, чтобы систематизировать все ключевые инновации в области эффективных архитектур для LLM.
Это не просто очередная статья, а попытка упорядочить и структурировать актуальные подходы, которые решают главную проблему классического трансформера - его квадратичную вычислительную сложность.
Обзор описывает 7 основных направлений.
🟡Линейное моделирование последовательностей.
Здесь авторы разбирают все подходы, которые так или иначе сводят сложность самовнимания к линейной. В эту категорию попадают 3 большие ветви: линейное внимание; линейные RNN, вроде и, конечно, модели на основе пространства состояний (SSM).
🟡Второе и третье направления посвящены идее разреженности.
Разреженное моделирование последовательностей основано на простом принципе: не каждый токен должен общаться с каждым. Здесь выделяются статические подходы (как в Longformer), где паттерны внимания заданы заранее, и динамические, где они определяются на лету в зависимости от контента.
🟡MoE.
Методика, которая уже стала мейнстримом. В МоЕ разреженность применяется не в механизме внимания, а в FFN-слоях, где для каждого токена активируется лишь небольшая часть экспертов, что позволяет наращивать число параметров без пропорционального роста вычислений.
🟡Четвёртый раздел - эффективное полное внимание.
В нем речь идет не об изменении асимптотической сложности, а об ее аппаратной оптимизации. Флагман - FlashAttention.
Есть детальный разбор, как за счет оптимизации обращений к памяти GPU удается кардинально ускорить вычисления, не прибегая к аппроксимациям. Сюда же относятся и групповые механизмы внимания: GQA и MQA.
🟡Гибридные архитектуры.
Это, пожалуй, самый горячий тренд. Его идея в том, чтобы стратегически комбинировать быстрые слои с линейной сложностью и медленные, но мощные слои с полным вниманием.
В обзоре выделяют два типа гибридизации: межслойную, как в Jamba, где разные типы слоев чередуются, и внутрислойную, где в одном слое разные головы могут использовать разные механизмы внимания.
🟡Диффузионные LLM (DLLM)
Это неавторегрессионные модели, которые генерируют текст, постепенно восстанавливая его из шума. Их главная фишка в параллельном декодировании, что дает ощутимое ускорение инференса.
В конце обзора есть анализ применения всех этих архитектур в разных модальностях - CV и аудио.
Так что, если хотите быстро разобраться в базовых методах, которые будут двигать дизайн LLM в ближайшее время, а двигаться он будет в сторону микширования алгоритмов, систем и железа, этот обзор - мастрид.
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#Architectures
📌SemDiD: Семантическое разнообразие ответов для LLM.
Исследователи из из Гонконгского университета и инженеры Alibaba научили LLM генерировать семантически разные ответы, заставляя их «думать» в ортогональных направлениях.
Наверняка каждый, кто работает с LLM, сталкивался с их любовью к самоповторам. Запрашиваешь несколько вариантов решения, а получаешь одну и ту же мысль, просто перефразированную.
Стандартные подходы к декодированию, temperature sampling или diverse beam search, создают лишь лексическое разнообразие, но пасуют, когда требуется семантическое. Это серьезная проблема для Best-of-N или RLHF. Ведь без по-настоящему разных идей и подходов к решению задачи эти методы теряют свою силу: выбирать лучший вариант не из чего, а обучать модель на однотипных примерах неэффективно.
Решение предложили в методе SemDiD (Semantic-guided Diverse Decoding). Его суть, если кратко, перестать играть с токенами на поверхности и начать управлять генерацией напрямую в пространстве эмбеддингов.
🟡Метод работает так.
Сначала, на старте, он принудительно направляет разные группы beams по ортогональным векторам в семантическом пространстве. Грубо говоря, это как дать команду разным поисковым группам двигаться строго на север, юг и запад, чтобы они гарантированно разошлись.
По мере генерации, когда жесткие директивы могут стать неоптимальными, включается второй механизм - inter-group repulsion. Он просто следит, чтобы смысловые траектории ответов не сближались, сохраняя их уникальность до самого конца.
Но как, гоняясь за разнообразием, не получить на выходе бессвязный бред?
SemDiD подходит к контролю качества уникально. Он не пытается слепо максимизировать вероятность последовательности, а использует ее лишь как нижнюю границу, чтобы отсечь совсем уж плохие варианты.
Кроме того, алгоритм корректирует системные искажения, когда вероятность токенов искусственно завышается в зависимости от их позиции в тексте.
Для баланса между качеством и разнообразием используется адаптивный механизм на основе гармонического среднего, который в каждый момент времени уделяет больше внимания той метрике, которая проседает.
🟡В тестах метод показал неплохие результаты.
На бенчмарках для Best-of-N, от MMLU-Pro+ до GSM8K, SemDiD увеличивает покрытие (шанс найти верный ответ) на 1.4%-5.2% по сравнению с аналогами.
🟡Но главный прорыв - в RLHF.
Генерируя для GRPO или RLOO семантически богатые наборы ответов, SemDiD предоставляет им более качественный материал для обучения. Это ускоряет сходимость на 15% и повышает финальную точность моделей.
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#LLM#SemDiD
Друзья, встречайте новинку от OpenAI - Txt2Video SORA! 🚀
Это настоящий прорыв. Эта модель предлагает невиданное до сих пор качество и детализацию изображения при движении камеры, сохраняя при этом уникальность каждого человека.
Хотя я скептически отношусь к рендерам и считаю, что стоит дождаться общего доступа для независимого тестирования (ведь мы не позволим себя обмануть), уже сейчас результаты выглядят впечатляюще!
Ознакомиться с примерами можно на официальном сайте OpenAI - https://openai.com/sora
#OpenAI#Txt2VideoSORA#технологии#инновации#AI#искусственныйинтеллект
@pulatov_kh
🙂Тестировали обновленную Алису в Яндекс Поиске. Довольно интересное преображение от простого голосового помощника к полноценному ИИ-ассистенту.
Попросили ее прямо в браузере написать пост про саму себя. И она тут же выдала готовый текст, адаптированный для публикации. Есть структура, заголовки и даже эмодзи. Вполне живой контент.
Голосовые запросы обрабатывает неплохо, можно говорить естественно, не подбирая специальные фразы. Распознавание работает стабильно.
➕ Особенно прикольный режим рассуждений для сложных задач. Нейронка думает вслух, показывая логику решения. Забавно наблюдать за ходом мыслей ИИ.
➕Плюс ко всему дает ссылки на источники – не просто генерирует ответ из воздуха, а показывает, откуда информация. Для проверки фактов удобно.
➕ Еще есть генерация изображений прямо в поиске, анализ загруженных картинок через камеру, интеграция с контентом открытых вкладок в браузере.
В целом направление правильное - надо пользовать!
Скачать на мобильный можно тут.
#ИИ#AI#Нейросети#Алиса
———
#Инструменты
✍️Подписывайтесь: @aiforproduct
🏝Как спланировать отпуск с ИИ
Давайте разберёмся, как нейросеть может классно помочь с выбором отдыха. Мы покопались в настройках и собрали GPTs, который чует, что человеку по душе, и отправляет его с этими хотелками прямо в отпуск мечты.
Но вовсе не обязательно бежать за ChatGPT. Любая модель с доступом к интернету справится, если подойти с умом и пошагово.
1️⃣Задаём роль и цель
Ты — профи в туризме. Знаешь не только азы, как туроператоры, но и тонкости: традиции, скрытые уголки, культурные фишки. Подбери мне идеальный отпуск, чтобы я провёл время ярко и насыщенно. Я сам пока не уверен, чего хочу — расспроси меня о предпочтениях, предложи варианты под мой бюджет и составь дорожную карту: где остановиться, что посмотреть, куда прогуляться.
Такой старт помогает ИИ не просто бросить вам случайные идеи, а сначала понять, что вам близко, и выдать точные рекомендации.
2️⃣ Копаем глубже
В процессе диалога уточняйте: сколько стоит перелёт, где выгоднее жить, какие есть альтернативы. Просите искать "скрытые" детали — вроде тихого района с пешеходными тропами или местного праздника, о котором молчат путеводители. Спрашивайте отзывы, ссылки, проверяйте, как вписаться в бюджет.
Чем больше вы погоняете нейронку, тем круче она раскроется в плане. В итоге получите варианты под ваши даты, ссылки на отели, музеи, парки, рестораны, да хоть маршрут для транспорта. А самое вкусное — наводки на необычные места, которых в путеводителях не сыскать.
3️⃣Для тех, кто хочет помечтать о своем отдыхе, заходите в наш GPTsTravel Master. Он любопытный — будет выспрашивать детали, так что не стесняйтесь отвечать и уточнять. Вдруг его идея станет вашим следующим приключением?
Делитесь в комментариях: помогли ли его советы или у вас свои лайфхаки для ИИ?
#ИИ#AI#Нейросети
———
#Инструменты#GPTs
✍️Подписывайтесь: @aiforproduct