Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#timeseries
Ekambaram, Vijay, Arindam Jati, Pankaj Dayama, Sumanta Mukherjee, Nam H. Nguyen, Wesley M. Gifford, Chandra Reddy, and Jayant Kalagnanam. 2024. “Tiny Time Mixers (TTMs): Fast Pre-Trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series.” arXiv [Cs.LG]. arXiv. http://arxiv.org/abs/2401.03955.
#timeseries
Finding a suitable forecasting metric to evaluate the forecasting models is often the key to a forecasting project. Right? We use metrics when developing models, we also use metrics to monitor models.
There are a bunch of metrics people choose from or adapt from. To be faster when choosing and adapting metrics, I created a page on the properties of different metrics for time series forecasting problems. For reproducibility, I also included all the code used to write this page.
https://dl.leima.is/time-series/timeseries-metrics.forecasting/
#Tableau#timeSeries
📊
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
🔗Link
-----
Canal principal: @repo_science
Cupones: @freecoupons_reposcience
-----
#TimeSeries#Analysis#Python
⌚️
Forecasting Models and Time Series for Business in Python
Time Series Analysis in Python. Demand Planning & Business Forecasting. Forecast with 6 Models: Prophet, ARIMA & More.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
#вакансия#vacancy#job#timeseries
#datasciense#remote
Вакансия: Middle/ Senior Data Scientist
Кадровое агентство: DevHunt
ЗП: от 150.000 до 250.000 руб на руки
Формат: удаленка
Почему стоит выбрать именно эту позицию:
- Удаленка с гибким началом рабочего дня
- Свобода в принятии решений
- Возможности для роста
- Никакого тайм-трекинга
- Неформальная атмосфера с минимальным числом бюрократии
- Проекты не "в стол"
- Плюшки IT-аккредитации
- Годовые бонусы: х1, х1.5
- ДМС после испытательного срока
Чек-лист идеального кандидата:
- Опыт ML-разработки на Python от 3х лет
- Опыт работы с Pandas, NumPy, SсiPy, scikit-learn, Keras/TensoFlow
- Опыт работы с XGboost, LightGBM, Random Forest, линейными моделями, основными архитектурами нейронных сетей. Понимание механизмов их работы
- Знание SQL на продвинутом уровне, опыт работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL и пр.)
Опыт работы с *nix системами
- Навыки работы с Git и с Conda окружениями
Будет плюсом:
- Опыт разработки проектной документации в части подготовки разделов по предиктивному анализу
- Опыт разработки архитектуры данных и структур баз данных
- Знание и опыт работы с ETL/ELT инструментами
Знание TimescaleDB, InfluxDB, AVEVA (OSIsoft) PI System
- Понимание специфики работы IT-интегратора (outsource)
- Опыт работы в нефтегазовой или смежной области
Задачи:
- Реализации проектов по предиктивной аналитике на промышленных предприятиях
- Анализ и прогнозирование временных рядов
- Анализ производственных процессов и выработка требований к сбору данных
Выбор и обоснование моделей машинного обучения для решения бизнес-задач
- Конструирование признаков для ML-моделей (feature engineering)
Выбор и обоснование метрик для оценки моделей машинного обучения
- Интерпретация результатов функционирования моделей машинного обучения
- Разработка и автоматизация ML-пайплайнов
Контакт:@barnes_recruiter
#Tableau
#Forecasting#TimeSeries
📊
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
#tableau#TimeSeries#Forecasting
📈
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----