TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #deckhouse

当前筛选 #deckhouse清除筛选
Data Science Jobs

@datasciencejobs · Post #3075 · 17.12.2025 г., 15:00

#вакансия#mlops#engineer#llm#vllm#hugginface#rag#embeddings#k8s#docker#deckhouse#Langfuse#LlamaIndex#remote Вакансия: MLOps-инженер Компания: АО СимбирСофт Формат работы: удалёнка Занятость: полная занятость Ищем MLOps инженера в РФ 👨‍💻 🚀 Нам нужен инженер, готовый развивать инфраструктуру LLM-платформы. Твоими задачами станут поддержка и развитие сервисов для больших языковых моделей, интеграция инструментов, настройка мониторингов и обеспечение безопасности данных. 🔍 Опыт работы с: - Большими языковыми моделями (vLLM, TGI, Hugging Face) - Python (FastAPI, скрипты, CLI) - Архитектурой RAG и embedding-моделями - Prometheus/Grafana - Система аутентификации (Keycloak, JWT) - Kubernetes, Docker, CI/CD 💡 Будут полезны знания: - Deckhouse или других дистрибутивов Kubernetes - Langfuse, LlamaIndex, PostgreSQL Vector, Chroma - Принципов MLOps и интеграции сторонних API ✅Условия: - Удаленный формат работы. - Гибкое начало рабочего дня. - Широкий технологический стек, сотни проектов. Можно разрабатывать IT-решения для разных отраслей, пробовать новые технологии. - Помогаем прокачаться во всех интересующих направлениях: стать тимлидом, архитектором, разработчиком. - Имеем развитую систему наставничества, проходим сертификацию за счет компании, участвуем в конференциях. Активно обмениваемся опытом, проводим внутренние и внешние митапы, прокачиваем hard и soft skills. Присоединяйся к нам!✨ Если заинтересовала вакансия, буду рада обсудить в тг: https://t.me/gulnara_s28 ʕ ᵔᴥᵔ ʔ