Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
🔎 Группа британских ученых создала ИИ-алгоритм для автоматической обработки и извлечения огромных объемов информации из различных документов.
Система анализирует содержание и структуру счет-фактур, налоговых форм и других цифровых данных, а затем сортирует их по категориям.
🗣 По словам исследователей, технология упростит открытие банковских счетов, утверждение ипотечных кредитов, ответы на запросы клиентов и обработку страховых требований, ускорив проверку на мошенничество и извлечение сведений из удостоверяющих личность документов.
#NLP
🗣 Компания Veritone запустила платформу Marvel.AI для клонирования голоса знаменитостей.
По словам разработчиков, любой желающий может создать цифровую копию своего голоса и выставить ее на продажу. Затем образцы речи можно использовать для озвучивания новостей, рекламных роликов и другого контента.
💿 Также платформа может оцифровывать голоса умерших людей. Для этого ей необходимо предоставить их архивные голосовые записи.
#NLP
A team of ex-OpenAI fellows at Together have released a 20B chat-GPT model, fine-tuned for chat using EleutherAI's GPT-NeoX-20B, with over 43 million instructions under the Apache-2.0 license.
https://github.com/togethercomputer/OpenChatKit
https://www.together.xyz/blog/openchatkit
#nlp
Haystack
• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.
https://github.com/deepset-ai/haystack
#nlp
#nlp#news
Опасный ИИ –– OpenAI создала генератор текстов, который работает слишком хорошо
Алгоритм GPT-2, натренированный на 40 гигабайтах текстов из интернета, научился писать осмысленные тексты. Он предсказывает каждое следующее слово, подходящее по стилю и содержанию. OpenAI решила не выкладывать в открытый доступ полноценный программный код, полагая, что алгоритм может быть опасным, что сильно расстроило сообщество, ведь компания создавалась именно на принципах полной открытости полученных результатов.
Почему важно: В 2015 году лаборатория, основанная Илоном Маском, зарядилась альтруистической целью –– создавать ИИ на благо человечества. Но это было 4 года назад, а сейчас OpenAI побоялась выкладывать свою разработку в открытый доступ. Уж слишком высока вероятность, что ИИ быстро переманят на сторону зла и будут использовать для генерации фейковых новостей и спама. OpenAI создали мощного противника человечества в Dota 2, теперь –– идеального писателя, которому не нужно вдохновение.
Эта новость –– отличный повод поговорить о NLP (направление ML по обработке текста) и его ключевых проблемах. Даже самые огромные бюджеты, которые компании тратят на попытки автоматизации службы поддержки и ответы в чатах пользователям, упираются в число 30%. Это средний объем автоматизации сообщений, выше которого прыгнуть сложно, даже внутри одного маленького домена тем. NLP ждет какого-то фундаментального открытия, которое позволит перейти от статистических методов к полноценному deep learning подходу. Возможно алгоритм GPT-2 поможет сдвинуть NLP с текущей мертвой точки.
🗣Googleподелилась прогрессом в создании Universal Speech Model (USM), поддерживающей 1000 различных языков.
По данным разработчиков, модель имеет 2 млрд параметров. Ее обучили на 12 млн часов речи и 28 млрд предложений.
🌐 На сегодня USM поддерживает более 100 языков. Модель уже используют в YouTube для автоматического создания субтитров.
#Google#NLP
🗣Googleразработала систему голосовой идентификации Speaker ID для колл-центров.
При первом взаимодействии абонента с ИИ, сервис предложит ему зарегистрироваться и предоставить образец речи. Система не требует специального текста или пароля — после верификации она определит звонящего по трехсекундному фрагменту голоса.
⚙️ Speaker ID является частью платформы Contact Center AI.
#Google#NLP
🗣 Китайские разработчики представили языковую модель WuDao 2.0. По их словам, она превосходит аналогичные технологии Google и OpenAI
WuDao 2.0 использует 1,75 трлн параметров для имитации разговорной речи, написания текстов и понимания изображений. Она работает с китайским и английским языками благодаря изучению 4,9 терабайт различных данных.
Разработчики заявили, что побили рекорд компании Google, которая в январе 2021 года представила Switch Transformer с 1,6 трлн параметров. До этого крупнейшей языковой моделью была OpenAI GPT-3 со 175 млрд параметров.
🤝 Исследователи также сообщили, что уже нашли 22 партнеров, в числе которых производитель смартфонов Xiaomi, служба доставки Meituan и платформа для обмена короткими видео Kuaishou.
#Китай#NLP
💬Alexa AIпредставила многоязычную нейросеть-трансформер AlexaTM с 20 млрд параметров. Модель способна изучать новые задачи по нескольким примерам и переводить их без вмешательства человека.
Алгоритм основан на архитектуре кодер-декодер. Для тренировки нейросети исследователи использовали комбинацию задач шумоподавления и каузально-языкового моделирования.
☝️ По данным разработчиков, AlexaTM превосходит аналоги в выполнении задач обобщения и машинного перевода, а углеродный след при ее тренировке составляет всего пятую часть от выбросов при обучении GPT-3.
#Amazon#NLP