Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
251127 || Oneily Music 𝕏 UPDATE
#YUQI of i-dle has exceeded 1 million followers on QQ Music.
She is the first 4th-gen soloist to reach this achievement.
[TRANS]
#YUQI dari i-dle telah melampaui 1 juta pengikut di QQ Music.
Dia adalah solois generasi ke-4 pertama yang mencapai pencapaian ini.
–🦋
── @GIDLE_UPDATE ──
251126 || #YUQI INSTASTORY UPDATE
"I hope everyone will be safe and sound 🙏🙏🙏"
[TRANS]
"Saya harap semua orang akan aman dan sehat 🙏🙏🙏"
–🦋
── @GIDLE_UPDATE ──
251105 || #YUQI INSTA UPDATE
[2/2]
"🌸Went to the right place with the right people at the right time🌸
——Record of the Tibet trip——"
[TRANS]
🌸Pergi ke tempat yang tepat dengan orang yang tepat pada waktu yang tepat🌸
——Catatan perjalanan Tibet——
–🦋
── @GIDLE_UPDATE ──
251105 || #YUQI INSTA UPDATE
[1/2]
"🌸Went to the right place with the right people at the right time🌸
——Record of the Tibet trip——"
[TRANS]
🌸Pergi ke tempat yang tepat dengan orang yang tepat pada waktu yang tepat🌸
——Catatan perjalanan Tibet——
–🦋
── @GIDLE_UPDATE ──
250912 || #YUQI INSTA UPDATE
[2/2]
""I hope we are happy wherever and whenever..."
💔💔💔
It hurts, thank you for liking me!!
Please listen a lot when the song comes out~~~
Thanks again, Teacher Wuli Wang ❤️@waybuss"
[TRANS]
"Aku harap kita bahagia di mana pun dan kapan pun..."
💔💔💔
Sakit, terima kasih sudah menyukaiku!!
Tolong dengarkan banyak saat lagunya keluar~~~
Terima kasih lagi, Guru Wuli Wang ❤️@waybuss
–🦋
── @GIDLE_UPDATE ──
250912 || #YUQI INSTA UPDATE
[1/2]
""I hope we are happy wherever and whenever..."
💔💔💔
It hurts, thank you for liking me!!
Please listen a lot when the song comes out~~~
Thanks again, Teacher Wuli Wang ❤️@waybuss"
[TRANS]
"Aku harap kita bahagia di mana pun dan kapan pun..."
💔💔💔
Sakit, terima kasih sudah menyukaiku!!
Tolong dengarkan banyak saat lagunya keluar~~~
Terima kasih lagi, Guru Wuli Wang ❤️@waybuss
–🦋
── @GIDLE_UPDATE ──