Мы используем Makefile думая, что нет альтернатив, что это стандарт и всё такое.
Но make это не запускалка команд, а система сборки. Мы фактически используем его не по назначению.
И на самом деле альтернатива есть! Некоторое время назад я открыл для себя прекрасный инструмент - just. Он решает все проблемы make.
just - это не система сборки как make, это именно исполнитель команд!
Больше никаких Phony Targets и табуляций, привет нормальный синтаксис и передача аргументов!!! 😎
⭐️Что умеет just:
✅ Автодокументирование команд
Не нужно делать отдельную команду с докой, просто добавь комментарий
# команда сборки
build:
...
$ just --list
Available recipes:
build # команда сборки
Команда с именем default запускается по умолчанию если не указано другое, так что я обычно делаю так:
default:
just --list
Теперь просто выполняем just и получаем доку из текущего файла.
✅ Удобная работа с переменными окружения
# загрузить из .env
set dotenv-load
# глобальная переменная
export PYTHONPATH := "./src"
# переменная для команды
test $TESTUNG="true":
pytest
✅ Передача аргументов
build target:
@echo 'Build {{target}}...'
команда запуска
$ just build dev
# Build dev...
✅ Выбор интерпретатора прямо в команде
Пример с инлайн-скриптом на python:
system:
#!/usr/bin/env python3
import platform
print(platform.system())
Эта же функция позволит выполнить скрипт как одну команду вместо перезапуска шела для каждой строки
foo:
#!/usr/bin/env sh
for file in ls .; do
echo $file
done
✅ Выполнение команды в определенной директории. Можно указать как релятивный путь так и абсолютный
[working-directory: 'backend']
build:
docker compose build
Также можно задать рабочую директорию глобально
Там еще много интересного:
- поддержка функций
- автокомплиты и интеграции
- экспрешены
- алиасы команд
- группировка команд
- альтернативы команды под разные ОС
- импорт других just-файлов
- цветной вывод
- ... и другие штуковины!
Так что вперёд - ➡️ читать доку!
Репозиторий: ➡️https://github.com/casey/just
Статья: ➡️https://www.chicks.net/reference/file_formats/just/
ЗЫ. Кажется, на Makefile я уже не вернусь)
#tools
🔎 Группа британских ученых создала ИИ-алгоритм для автоматической обработки и извлечения огромных объемов информации из различных документов.
Система анализирует содержание и структуру счет-фактур, налоговых форм и других цифровых данных, а затем сортирует их по категориям.
🗣 По словам исследователей, технология упростит открытие банковских счетов, утверждение ипотечных кредитов, ответы на запросы клиентов и обработку страховых требований, ускорив проверку на мошенничество и извлечение сведений из удостоверяющих личность документов.
#NLP
🗣 Компания Veritone запустила платформу Marvel.AI для клонирования голоса знаменитостей.
По словам разработчиков, любой желающий может создать цифровую копию своего голоса и выставить ее на продажу. Затем образцы речи можно использовать для озвучивания новостей, рекламных роликов и другого контента.
💿 Также платформа может оцифровывать голоса умерших людей. Для этого ей необходимо предоставить их архивные голосовые записи.
#NLP
A team of ex-OpenAI fellows at Together have released a 20B chat-GPT model, fine-tuned for chat using EleutherAI's GPT-NeoX-20B, with over 43 million instructions under the Apache-2.0 license.
https://github.com/togethercomputer/OpenChatKit
https://www.together.xyz/blog/openchatkit
#nlp
Haystack
• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.
https://github.com/deepset-ai/haystack
#nlp
#nlp#news
Опасный ИИ –– OpenAI создала генератор текстов, который работает слишком хорошо
Алгоритм GPT-2, натренированный на 40 гигабайтах текстов из интернета, научился писать осмысленные тексты. Он предсказывает каждое следующее слово, подходящее по стилю и содержанию. OpenAI решила не выкладывать в открытый доступ полноценный программный код, полагая, что алгоритм может быть опасным, что сильно расстроило сообщество, ведь компания создавалась именно на принципах полной открытости полученных результатов.
Почему важно: В 2015 году лаборатория, основанная Илоном Маском, зарядилась альтруистической целью –– создавать ИИ на благо человечества. Но это было 4 года назад, а сейчас OpenAI побоялась выкладывать свою разработку в открытый доступ. Уж слишком высока вероятность, что ИИ быстро переманят на сторону зла и будут использовать для генерации фейковых новостей и спама. OpenAI создали мощного противника человечества в Dota 2, теперь –– идеального писателя, которому не нужно вдохновение.
Эта новость –– отличный повод поговорить о NLP (направление ML по обработке текста) и его ключевых проблемах. Даже самые огромные бюджеты, которые компании тратят на попытки автоматизации службы поддержки и ответы в чатах пользователям, упираются в число 30%. Это средний объем автоматизации сообщений, выше которого прыгнуть сложно, даже внутри одного маленького домена тем. NLP ждет какого-то фундаментального открытия, которое позволит перейти от статистических методов к полноценному deep learning подходу. Возможно алгоритм GPT-2 поможет сдвинуть NLP с текущей мертвой точки.
🗣Googleподелилась прогрессом в создании Universal Speech Model (USM), поддерживающей 1000 различных языков.
По данным разработчиков, модель имеет 2 млрд параметров. Ее обучили на 12 млн часов речи и 28 млрд предложений.
🌐 На сегодня USM поддерживает более 100 языков. Модель уже используют в YouTube для автоматического создания субтитров.
#Google#NLP
🗣Googleразработала систему голосовой идентификации Speaker ID для колл-центров.
При первом взаимодействии абонента с ИИ, сервис предложит ему зарегистрироваться и предоставить образец речи. Система не требует специального текста или пароля — после верификации она определит звонящего по трехсекундному фрагменту голоса.
⚙️ Speaker ID является частью платформы Contact Center AI.
#Google#NLP
🗣 Китайские разработчики представили языковую модель WuDao 2.0. По их словам, она превосходит аналогичные технологии Google и OpenAI
WuDao 2.0 использует 1,75 трлн параметров для имитации разговорной речи, написания текстов и понимания изображений. Она работает с китайским и английским языками благодаря изучению 4,9 терабайт различных данных.
Разработчики заявили, что побили рекорд компании Google, которая в январе 2021 года представила Switch Transformer с 1,6 трлн параметров. До этого крупнейшей языковой моделью была OpenAI GPT-3 со 175 млрд параметров.
🤝 Исследователи также сообщили, что уже нашли 22 партнеров, в числе которых производитель смартфонов Xiaomi, служба доставки Meituan и платформа для обмена короткими видео Kuaishou.
#Китай#NLP
💬Alexa AIпредставила многоязычную нейросеть-трансформер AlexaTM с 20 млрд параметров. Модель способна изучать новые задачи по нескольким примерам и переводить их без вмешательства человека.
Алгоритм основан на архитектуре кодер-декодер. Для тренировки нейросети исследователи использовали комбинацию задач шумоподавления и каузально-языкового моделирования.
☝️ По данным разработчиков, AlexaTM превосходит аналоги в выполнении задач обобщения и машинного перевода, а углеродный след при ее тренировке составляет всего пятую часть от выбросов при обучении GPT-3.
#Amazon#NLP