Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
👩💻 Bash Prompt Generator.
• Очень крутой ресурс, где можно сконфигурировать строку для ввода команд в bash. Выбираете параметры, расставляете их в нужной последовательности и копируете готовую конфигурацию.
➡️https://bash-prompt-generator.org/
#bash
👩💻 Bash Reference Manual.
• Для изучения Bash в нашем канале собрано очень большое кол-во полезного и бесплатного материала! Сегодня нашу коллекцию пополнит одно фундаментальное руководство от GNU, которое поможет освоить Bash или подтянуть свои знания, если Вы ранее уже приступали к изучению.
➡️https://www.gnu.org/software/bash/manual/bash.pdf
#bash
👩💻 Кручу-верчу, запутать хочу.
• Короткая, но полезная статья, в которой собраны необычные и малоизвестные трюки с перенаправлениями в bash.
- /dev/tcp;
- Placeholder -
- Группировка команд;
- Подмена процессов.
➡️https://habr.com/ru/post/786224/
#bash
• Очень объемная коллекция однострочников bash, которые могут быть полезны в решении определенных задач или повседневной работе. Добавляйте в избранное:
➡Terminal Tricks;
➡Variable;
➡Math;
➡Grep;
➡Sed;
➡Awk;
➡Xargs;
➡Find;
➡Condition and Loop;
➡Time;
➡Download;
➡Random;
➡Xwindow;
➡System;
➡Hardware;
➡Networking;
➡Data Wrangling;
➡Others.
#bash#Linux
📚Бесплатный курс: Linux - администрирование - Bash, кладовая полезных знаний.
• В данном курсе нас с вами ждёт неформальное путешествие по основам работы системного администратора в операционных системах на базе GNU/Linux. Главным нашим инструментом будет Bash (в основном), попробуем с ним подружиться и взглянем на типичные задачи системного и сетевого администрирования (в той или иной степени). Также нас ждёт немало интересных теоретических выкладок по системам, сетям и кибербезопасности.
• В курс входят: 32 урока, 18 часов видео и 29 тестов. Цель курса - познакомиться с основами работы системного администратора в операционных системах на базе GNU/Linux.
➡️https://stepik.org/course/181507/
#bash#Linux
👩💻 DevOps Bash tools.
• Добавляем в нашу коллекцию еще один репозиторий для изучения Bash, содержащий в себе более 1000 скриптов, которые могут оказаться полезными для DevOps и не только — AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Code/Build Linting, pkg mgmt для Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, .bashrc, .vimrc, .gitconfig, .screenrc, tmux...
➡️https://github.com/HariSekhon/DevOps-Bash-tools
#bash#DevOps
• Нашел крутой инструмент для работы с историей команд. Тулза называется hiSHtory и у нее очень богатый функционал: умеет хранить статистику выполнения команд, сохраняет дополнительную информацию о них (например, код завершения, или время выполнения команды), и позволяет синхронизировать данные между другими машинами. Удобно!
➡️https://github.com/ddworken/hishtory
#Tools#bash