TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #425 · 20 апр.
Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async
Hashtags
Пребарај: #dl
@repo_science · Post #4131 · 18.05.2024 г., 21:06
#DL 📱 Zeus New Pytorch Ecosystem Tool Zeus is an open source toolkit for measuring and optimizing power consumption of deep learning workloads. 🖥Github ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----
Hashtags
@amneumarkt · Post #706 · 21.11.2025 г., 07:53
#dl Introducing more symmetries in attention https://github.com/NVIDIA/torch-harmonics https://neurips.cc/virtual/2025/loc/san-diego/poster/117783
Hashtags
@amneumarkt · Post #691 · 05.10.2025 г., 07:41
#dl Park, Chanwook, Sourav Saha, Jiachen Guo, Hantao Zhang, Xiaoyu Xie, Miguel A. Bessa, Dong Qian, et al. 2025. “Unifying Machine Learning and Interpolation Theory via Interpolating Neural Networks.” Nature Communications 16 (1): 1–12. https://www.nature.com/articles/s41467-025-63790-8
Hashtags
@amneumarkt · Post #683 · 28.06.2025 г., 07:04
#dl A few cool ideas in this model. Introducing Gemma 3n: The developer guide - Google Developers Blog https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Hashtags
@amneumarkt · Post #681 · 14.06.2025 г., 08:43
#dl So tensorflow and jax are deprecated in the transformers package. https://github.com/huggingface/transformers/pull/38758
Hashtags
@amneumarkt · Post #662 · 21.02.2025 г., 07:42
#dl Sure, nobody uses it anyways.
Hashtags
@amneumarkt · Post #625 · 03.10.2024 г., 21:31
#dl PyTorch Native Architecture Optimization: torchao | PyTorch https://pytorch.org/blog/pytorch-native-architecture-optimization/
Hashtags
@amneumarkt · Post #624 · 03.10.2024 г., 18:07
#dl https://soumith.ch/blog/2024-10-02-training-10k-scale.md.html
Hashtags
@amneumarkt · Post #602 · 20.07.2024 г., 05:48
#dl There is this new lib called scale. One could compile CUDA code to use it on AMD GPU. https://docs.scale-lang.com/manual/how-to-use/ I don't know who is more pissed off, NVidia or AMD.
Hashtags
@amneumarkt · Post #556 · 16.03.2024 г., 09:09
#dl This repo is really nice. yuanchenyang/smalldiffusion: Simple and readable code for training and sampling from diffusion models https://github.com/yuanchenyang/smalldiffusion
Hashtags
@amneumarkt · Post #506 · 13.11.2023 г., 08:30
#dl Google & USC benchmarked a prompt based forecasting method, and the results are amazing. Cao D, Jia F, Arik SO, Pfister T, Zheng Y, Ye W, et al. TEMPO: Prompt-based Generative Pre-trained Transformer for time series forecasting. arXiv [cs.LG]. 2023. Available: http://arxiv.org/abs/2310.04948
Hashtags
@amneumarkt · Post #484 · 12.06.2023 г., 06:13
#dl https://twitter.com/armin_kekic/status/1667181047480479751?s=20
Hashtags