Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 1 слични објави

Пребарај: #mlteam

当前筛选 #mlteam清除筛选

Data Science Jobs

@datasciencejobs · Post #1422 · 17.04.2023 г., 06:20

Најди слично Погледај

ML engineer Team Lead #vacancy#вакансия#remote#удаленно#MLTeam Lead #NLP#RecSys#fulltime Role: ML Team Lead Company: http://Whisk.com Location: Remote Compensation: from 8k usd monthly About us: Whisk is the thriving cooking community available on iOS/Android, Web and Samsung hardware (Whisk was acquired by Samsung in 2019). Today we reach millions of users across many markets and languages. Our stack: Python, PyTorch, CatBoost, Pytorch Lightning, Transformers, Nvidia Triton, ClickHouse, Mongo, MySQL, Elasticsearch, MLFlow, DVC, KubeFlow, Kubernetes, GCP Required Qualifications: • 6+ years working in a software/machine learning engineering role with NLP and/or RecSys technologies. • Strong machine learning background, and experience in building and productionizing machine learning models. • Experience leading a team of machine learning engineers and managing project roadmap with data, product, and other engineering teams. • A history of mentoring other machine learning engineers, if not being a direct manager and scaling a team successfully. • Strong communication skills and the ability to lead and work with others in a closely collaborative team environment. • Strong leadership, problem-solving, and relationship-building skills. • Working proficiency in English. Type of Work: Contract-based (Long-term project), full-time (40 hours per week), 100% remotely. If you interested in this opportunity you can text me in telegram @polina_whisk. ❗️Please note that currently we only can hire people who located outside of Russia or Belarus.

Hashtags

#vacancy #вакансия #remote #удаленно #mlteam #nlp #recsys #fulltime