Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#ML
😎
FREE RESOURCES TO LEARN MACHINE LEARNING
Intro to ML by MIT Free Course
Machine Learning for Everyone FREE BOOK
ML Crash Course by Google
Advanced Machine Learning with Python Github
Practical Machine Learning Tools and Techniques Free Book
Python Machine Learning for beginners
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
#ML
🧠
Machine Learning Expert
El aprendizaje automático es un vasto campo con muchos conceptos clave que conocer. Nuestro curso intensivo cubre todos los componentes básicos que necesita para sumergirse en el aprendizaje automático del mundo real.
✍️Ryan Doan | Ex-Amazon ML Infrastructure Engineer
🌐En
📆2022
🔗Link
-----
Main channel:@repo_science
Coupons:@freecoupons_reposcience
-----
#ml
What’s Really Going On in Machine Learning? Some Minimal Models—Stephen Wolfram Writings
https://writings.stephenwolfram.com/2024/08/whats-really-going-on-in-machine-learning-some-minimal-models/
#ml
Meta's second version of segment anything.
https://github.com/facebookresearch/segment-anything-2
They have a nice demo:
https://sam2.metademolab.com/
#ml
I was searching for a tool to visualize computational graphs and ran into this preprint. The hierarchical visualization idea is quite nice.
https://arxiv.org/abs/2212.10774
#ml
Like a dictionary
Kunc, Vladim’ir, and Jivr’i Kl’ema. 2024. “Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks.” arXiv [Cs.LG], February. http://arxiv.org/abs/2402.09092.
#ml
I got interested in satellite data last year and played with it a bit. It's fantastic. The spatiotemporal nature of it brings up a lot of interesting questions.
Then I saw this paper today:
Rolf, Esther, Konstantin Klemmer, Caleb Robinson, and Hannah Kerner. 2024. “Mission Critical -- Satellite Data Is a Distinct Modality in Machine Learning.” arXiv [Cs.LG], February. http://arxiv.org/abs/2402.01444.
#ml
Jelassi S, Brandfonbrener D, Kakade SM, Malach E. Repeat after me: Transformers are better than state space models at copying. arXiv [cs.LG]. 2024. Available: http://arxiv.org/abs/2402.01032
Not surprising at all when you have direct access to a long context. But hey, look at this title.