Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Для тех кто не смотрел, очень советую
Серия про ChatGPT на злобу дня 😂
На самом деле там поднимается очень важная мысль, о которой забывает большая часть новичков, ощутивших мощь инструмента и поддавшихся безусловному делегированию мышления. А это не есть хорошо, ведь технология не идеальна и может допускать множество ошибок. Многие перекладывают часть задач на ИИ или даже полностью автоматизируют бизнес. Да, к этому стоит стремиться, но нельзя забывать о тренировке собственного мышления и запасных планах на случай, если всё пойдёт не так.
Был у меня случай, если помнишь, как-то я через агент хотел запостить сообщение в Телегу. В итоге агент шизанул и бахнул пять одинаковых постов подряд, потому что каждый раз замечал ошибку отсутствия ссылки на канале после публикации, что и привело к багу. Самое смешное, что в этот момент я сидел в ресторане, важный такой, рассказываю, что за меня работают роботы... а выключить это безумие не мог, потому что агент запускался на компе, а на телефоне функцию отключения ещё не допилили. XD
Короче, это я к чему. Не отдавайся машине на 100%, оставь хотя бы 50% контроля за собой. Хотя бы сегодня, чтобы ничего не сломать и не отупеть
South Part S27 E3
😂 Поделись своей историей в комментариях
#minds | AcidCrunch
Выйти за рамки
Каждый год в Петербурге проходит «Бессмертный полк» — когда потомки героев войны идут по главным улицам города с их фотографиями, чтобы отдать дань памяти. У меня тоже воевал прадед, и, насколько я знаю, мои родственники участвовали в этом шествии.
Сегодня мне пришла мысль: раз у нас есть хотя бы старая фотография (пусть и не самого лучшего качества), почему бы не оживить её? Улучшить текстуру, добавить объём и даже немного движения — попробовать представить, как бы выглядел мой родственник, если бы он был жив сейчас.
Честно говоря, старые фото у меня всегда вызывали лёгкий страх. В них есть что-то призрачное, словно они не передают настоящего человека, а только нарисованный образ. И мне всегда было сложно понять, каким он был на самом деле. Но сегодня я впервые увидел своего прадеда в объёме — и это был очень необычный, сильный опыт.
А теперь представьте: если подключить воспоминания родителей, бабушек и дедушек — узнать, чем увлекался предок, как он себя вёл, какие у него были привычки — можно не просто восстановить изображение, а выйти за рамки старого, потрескавшегося портрета. Дать ему движение, характер и жизнь.
Ну и с праздником тебя)
👇 Подпишись, сохрани и кидай друзьям
#kling#minds | AcidCrunch