Некоторые нашли ответ на вчерашнюю загадку: это последовательность животных из песни What Does The Fox Say.
И это породило интересное обсуждение здесь, в Телеграме. Часть людей никогда не слышали об этой песне, что лично меня очень сильно удивило. В моём информационном пространстве она является бесспорным масс-культурным феноменом, поэтому знакомство с ней не зависит, например, от ваших музыкальных вкусов. Вам достаточно просто заходить в интернет. По аналогии с, например, Gangnam Style или Harlem Shake: для меня это вещи, которые невозможно было не застать, если вы в принципе пользовались интернетом в период их популярности.
Но, как выяснилось, это совершенно не так, и люди действительно живут немножко в разных информационных слоях. Вот я и задумался: от чего это зависит? Какие источники нужно читать или не читать, чтобы ни разу не наткнуться на какой-то относительно популярный феномен, не обсудить его ни с кем из знакомых, не увидеть в ленте ни одной из соцсетей? В моих компаниях друзей, например, очень часто шутят с отсылками к масс-культуре, поэтому буквально невозможно не знать чего-то известного. Я просто не мог ничего сделать, чтобы пропустить какой-нибудь Ice Bucket Challenge, The Dress или Coffin Dance. Но как-то люди пропускают (наверняка среди читающих это есть те, кто не знает о чём-нибудь из перечисленного).
И другой вопрос: что отличает масс-культурный феномен от просто очень популярной вещи? В комментариях мне справедливо заметили, что если мы откроем в Википедии топ популярных видео на YouTube, там будут ролики с миллиардами просмотров, о которых мы и не слышали. Например, я никогда не видел и не слышал детский стишок «Johny Johny Yes Papa», а ведь это топ-3 видео на YouTube за всю историю, с поразительными 6 миллиардами просмотров! Ну ладно, допустим, видео для детей нельзя считать, потому что современные родители их просто ставят младенцам по 100 раз в день, чтобы отвлечь и чем-то занять. Но, например, у песни Джастина Бибера «Sorry» более 3.5 млрд просмотров, а я её никогда не слышал.
На мой взгляд произведение становится массовым, когда выходит за свои первоначальные границы. Например, если о песне знают не только те, кто в принципе слушает такую музыку и этого исполнителя. А особенно если песня вообще выходит за рамки музыкальной сферы. Например, по песне про лису писали научпоп-статьи о том, какой звук издают лисы. Челлендж Ice Bucket выполняли люди, которые никакого отношения не имеют к медицине или благотворительности. Танец Harlem Shake исполняли люди в военных частях, офисах, в Кембриджском университете. Для меня именно проникновение в нейтральную среду — основной признак.
#web
🔎 Группа британских ученых создала ИИ-алгоритм для автоматической обработки и извлечения огромных объемов информации из различных документов.
Система анализирует содержание и структуру счет-фактур, налоговых форм и других цифровых данных, а затем сортирует их по категориям.
🗣 По словам исследователей, технология упростит открытие банковских счетов, утверждение ипотечных кредитов, ответы на запросы клиентов и обработку страховых требований, ускорив проверку на мошенничество и извлечение сведений из удостоверяющих личность документов.
#NLP
🗣 Компания Veritone запустила платформу Marvel.AI для клонирования голоса знаменитостей.
По словам разработчиков, любой желающий может создать цифровую копию своего голоса и выставить ее на продажу. Затем образцы речи можно использовать для озвучивания новостей, рекламных роликов и другого контента.
💿 Также платформа может оцифровывать голоса умерших людей. Для этого ей необходимо предоставить их архивные голосовые записи.
#NLP
A team of ex-OpenAI fellows at Together have released a 20B chat-GPT model, fine-tuned for chat using EleutherAI's GPT-NeoX-20B, with over 43 million instructions under the Apache-2.0 license.
https://github.com/togethercomputer/OpenChatKit
https://www.together.xyz/blog/openchatkit
#nlp
Haystack
• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.
https://github.com/deepset-ai/haystack
#nlp
#nlp#news
Опасный ИИ –– OpenAI создала генератор текстов, который работает слишком хорошо
Алгоритм GPT-2, натренированный на 40 гигабайтах текстов из интернета, научился писать осмысленные тексты. Он предсказывает каждое следующее слово, подходящее по стилю и содержанию. OpenAI решила не выкладывать в открытый доступ полноценный программный код, полагая, что алгоритм может быть опасным, что сильно расстроило сообщество, ведь компания создавалась именно на принципах полной открытости полученных результатов.
Почему важно: В 2015 году лаборатория, основанная Илоном Маском, зарядилась альтруистической целью –– создавать ИИ на благо человечества. Но это было 4 года назад, а сейчас OpenAI побоялась выкладывать свою разработку в открытый доступ. Уж слишком высока вероятность, что ИИ быстро переманят на сторону зла и будут использовать для генерации фейковых новостей и спама. OpenAI создали мощного противника человечества в Dota 2, теперь –– идеального писателя, которому не нужно вдохновение.
Эта новость –– отличный повод поговорить о NLP (направление ML по обработке текста) и его ключевых проблемах. Даже самые огромные бюджеты, которые компании тратят на попытки автоматизации службы поддержки и ответы в чатах пользователям, упираются в число 30%. Это средний объем автоматизации сообщений, выше которого прыгнуть сложно, даже внутри одного маленького домена тем. NLP ждет какого-то фундаментального открытия, которое позволит перейти от статистических методов к полноценному deep learning подходу. Возможно алгоритм GPT-2 поможет сдвинуть NLP с текущей мертвой точки.
🗣Googleподелилась прогрессом в создании Universal Speech Model (USM), поддерживающей 1000 различных языков.
По данным разработчиков, модель имеет 2 млрд параметров. Ее обучили на 12 млн часов речи и 28 млрд предложений.
🌐 На сегодня USM поддерживает более 100 языков. Модель уже используют в YouTube для автоматического создания субтитров.
#Google#NLP
🗣Googleразработала систему голосовой идентификации Speaker ID для колл-центров.
При первом взаимодействии абонента с ИИ, сервис предложит ему зарегистрироваться и предоставить образец речи. Система не требует специального текста или пароля — после верификации она определит звонящего по трехсекундному фрагменту голоса.
⚙️ Speaker ID является частью платформы Contact Center AI.
#Google#NLP
🗣 Китайские разработчики представили языковую модель WuDao 2.0. По их словам, она превосходит аналогичные технологии Google и OpenAI
WuDao 2.0 использует 1,75 трлн параметров для имитации разговорной речи, написания текстов и понимания изображений. Она работает с китайским и английским языками благодаря изучению 4,9 терабайт различных данных.
Разработчики заявили, что побили рекорд компании Google, которая в январе 2021 года представила Switch Transformer с 1,6 трлн параметров. До этого крупнейшей языковой моделью была OpenAI GPT-3 со 175 млрд параметров.
🤝 Исследователи также сообщили, что уже нашли 22 партнеров, в числе которых производитель смартфонов Xiaomi, служба доставки Meituan и платформа для обмена короткими видео Kuaishou.
#Китай#NLP
💬Alexa AIпредставила многоязычную нейросеть-трансформер AlexaTM с 20 млрд параметров. Модель способна изучать новые задачи по нескольким примерам и переводить их без вмешательства человека.
Алгоритм основан на архитектуре кодер-декодер. Для тренировки нейросети исследователи использовали комбинацию задач шумоподавления и каузально-языкового моделирования.
☝️ По данным разработчиков, AlexaTM превосходит аналоги в выполнении задач обобщения и машинного перевода, а углеродный след при ее тренировке составляет всего пятую часть от выбросов при обучении GPT-3.
#Amazon#NLP