Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
⚠️
⚠️
⚠️
⚠️
⚠
🔔AMA ANNOUNCEMENT
🗣We are pleased to announce our #Voice AMA with "Ethernity Cloud " || 16th Jan 2025 at ( 13:00PM UTC)
🔠
🔠
🔠
🔠
🔠
🔠
🔠
🔠
⏳ Time : 16th Jan, 2025 at (13:00PM UTC)
🏠 Venue
✉️Crypto Fight
🤵♂️Guest : Iosif Peterfi - CEO
➡️There will be 3 segments. Last approximately for 45 minutes - 1 hours.
🟢Segment 1: Introduction Questions
🟢Segment 2: Twitter Questions
🟢Segment 3: Live Questions
📌Rules to follow AMA:
✅ Join
✉️CryptoFight &
✉️Ethernity-cloud
✅Like & Retweet
✅Twitter Post
✅ Follow
📝CryptoFight &
📝Ethernity-cloud on Twitter
📝 Ask Your Questions ( Here )
⏰ Must Join "Ethernity Cloud" Social Media Links :
✅Website✅Telegram✅Twitter✅Discord🌐Github✅Youtube✅Facebook
⏰ Must JoinCrypto Fight Community :
✉️Telegram
✉️Channel
📝Twitter
🔶Binance Live
*️⃣Linktree
💥If You Want To Promote Your Project Or AMA Proposal
📞DM @Ryan_Fight
Tribute: Voice Actor Shares Success Story
#Tribute#voice
Tribute shares insights from a voice actor who has mastered monetizing talent using the platform. Learn how they turn their passion for voice acting into income.
Source: link
@tonlines
🆕 AI News:Did you know? Scientists recently trained an AI to recognize emotions in human voices even better than some people can! Experts believe this could help build smarter assistants and even help diagnose health issues sooner.
❕ Would you trust an AI to sense your mood?
➖➖➖➖🔻
🧠 BOT: @Chatgpt_OfficialBOT
💎@Chatgpt_OfficialNews
#️⃣#AI#Voice#News
➖➖➖➖🔺