Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Жил был один фермер, как то раз он продал килограмм масла пекарю. Пекарь пришел домой и решил проверить фермера взвесив сливочное масло. Взвесив масло пекарь увидел, что его обвесили. Разозлившись по этому поводу, он подал на фермера в суд.
Судья задал вопрос фермеру, использует ли он какие-либо меры для взвешивания масла. Фермер ответил:
Все очень просто. У меня есть мерило.
Судья спросил:
Каким образом ты взвешиваешь масло?
Фермер ответил:
До того, как пекарь покупал у меня масло, я купил у него килограмм хлеба. Когда я покупал хлеб у пекаря, я ставил его на весы и продавал ему тот же самый вес сливочного масла.
Важно помнить, что ы жизни мы получаем то, что даем другим.
#psy
Знаете, не первый месяц ловлю себя на мысли что мне становится не интересен результат как конец чего-либо. Мне становится важным правильно думать и вести мысли в соответствии с минимальными усилиями получая на выходе максимальный результат. А для этого нужно не только много знать, но и применять знания, а также возвращаться к прошлым рассуждениями осмысляя их.
Когда-то в 19 веке жил двоюродный брат Чарльза Дарвина сэр Фрэнсис Гальтон. Как и все ученые того времени временами он нес полную антинаучную ахинею, но я его помню как гуманитария, доказавшего математическим путем уникальность папиллярных узоров - стал одним из основателей науки дактилоскопии.
Одним утром наш ученый-чудак проснулся и подумал, что просто так ему гулять скучно. Он внушил себе что он - самый ничтожный и отвратительный человек, которого ненавидит вся Англия.
Гамильтон все себе это внушил, вошел в роль и пошел гулять. Несмотря на джентльменский вид он увидел что прохожие смотрят на него с брезгливостью, а некоторые даже толкали его и материли. Более странно было наблюдать, что и животные чувствовали это - его лягнула лошадь так сильно, что наш ученый упал на мостовую. И пока он там лежал и просил о помощи других людей никто не спешил помогать - все люди смеялись и защищали лошадь.
Выводы которые сделал Френсис Гальтон:
Как мы относимся к себе, так и окружающие относятся к нам. Нам даже не надо ничего говорить, другие люди все сами поймут по нашему поведению
Если негативные мысли о себе дали такой эффект, то и с позитивными это тоже работает.
Любите себя и не пытайтесь быть больше чем вы есть.❤️
#psy