Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
⚡️swap.coffee: Impressive April 2025 Metrics
#swap#metrics
Swap.coffee shared its growth metrics for April 2025, showing a transaction volume of nearly $18 million, 37,129 transactions, and 5,934 unique users. The team expresses gratitude for the ongoing support from their community.
Source: link
@tonlines
#go#logging#metrics#opentelemetry#tracing
OpenTelemetry-Go is a tool for Go applications that helps you track how your software performs by collecting data like traces and metrics, then sending this information to monitoring platforms so you can see what’s happening inside your app in real time[2][3][4]. It works on many operating systems and Go versions, and you can use it by adding a few lines of code to your app and setting up an exporter. This makes it much easier to find and fix problems, understand how your app is running, and keep everything reliable and fast[2][3][4].
https://github.com/open-telemetry/opentelemetry-go
Raycaster Secures $500K Round
Raycaster has closed a funding round of $500,000 on December 4, 2024. The company specializes in providing unique insights for revenue teams, focusing on lab specs and API performance to accelerate high-value deal closures.
#Raycaster#Funding#Revenue#Insights#API#Metrics
AI Predictions: From Vacuums to Real Impact
AI-powered prediction platforms are gaining traction, with a focus on forecasting reactions based on content and audience. Initial predictions using tools like ChatGPT yield 17% accuracy, but considering audience interactions can boost accuracy to 83%. This innovative approach helped a startup refine its pitch to enter Y Combinator. Discover more insights on enhancing prediction accuracy in various fields here.
#AI#Startup#Prediction#YCombinator#Marketing#Innovation#Tech#Growth#Entrepreneurship#Forecasting#AudienceAnalysis#DataScience#MachineLearning#Success#Business#Trends#Platforms#Metrics#Investment#VC