Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#from#building
A series of immersive geodesic dome glamping sites, each featuring a panoramic window composed of precisely 16 equilateral triangles on the front facade. Nestled in a lush rainforest, the domes measure 6 meters in diameter and 3.5 meters in height. The transparent panoramic window provides an uninterrupted view of towering trees, vibrant flora, and the gentle trickle of a nearby waterfall. The photo captures the integration of the dome structures within the dense foliage, with the panoramic windows acting as portals into the enchanting forest. Sunlight filters through the canopy, creating a mesmerizing interplay of light and shadow within the domes. The overall ambiance is one of tranquility and harmony with nature, enticing visitors to embark on a serene glamping experience amidst the rainforest's embrace. Photography, mirrorless camera with a prime lens to capture the intricate details of the rainforest, --ar 16:9
✅ Revive Homes _Discord
@ai_artz
#from#building
A city of circular houses and community centers made out of grafted willow trees, recycled materials, and biomaterials; humans and animals coexisting amongst lush greenery and abounding nature without the presence of industrial materials
✅ nlynch00 _Discord
@ai_artz
#from#building
Floating House Visualization Amphibious design, flood-resilient construction, modular living spaces, energy-efficient technologies, solar panels, bold color accents, sustainable materials, adaptable to rising water levels, dimensions: 12m (L) x 8m (W) x 6m (H) --v 5
✅ Ahmet Ç _Discord
@ai_artz🌿
#from#building
An interior view of a Burger QSR featuring blue, orange, and white accents throughout the space. The seating area is decorated with a mix of comfortable chairs and booths, while the walls are adorned with abstract art and geometric patterns. The lighting fixtures create a warm and inviting atmosphere, complementing the vibrant color palette and fostering a sense of community.
✅ rajivkk _Discord
@ai_artz