TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #hdfs

当前筛选 #hdfs清除筛选
Data Science Jobs

@datasciencejobs · Post #2288 · 29.08.2024 г., 18:33

#job#работа#vacancy#вакансия#Data engineer #DataScience#HDFS#PySpark #Python#удаленно Вакансия: Data engineer Формат: Удаленно Занятость: полная, 5/2 (гибкое начало дня) З/П: до 300 000 руб. 🔶Эта вакансия - отличная возможность для инженера данных стать часть вдохновленной команды и принять участие в развитии платформы машинного обучения дочерней компании 🔶 Ключевая задача: развитие платформы машинного обучения 🔶Основные обязанности •Разрабатывать отчетность с использованием скриптов на PySpark •Генерировать новые признаки для ML-моделей •Автоматизировать процессы для бизнеса 🔶Обязательные требования: •Опыт работы с большими данными: HDFS, PySpark от 1 года •Опыт работы с Python, в том числе с Pandas, NumPy Преимуществом при отборе будет •Опыт работы с геоданными, git 🔶 Что мы можем предложить взамен •Место работы: удаленно по РФ •Трудоустройство по ТК РФ в аккредитованное юр. лицо •Официальное трудоустройство •Размер заработной платы обсуждается после собеседования •Годовое премирование •ДМС со стоматологией •Компенсация мобильной связи •Возможности для развития 📲Контакт: @Oskar17

Data Science Jobs

@datasciencejobs · Post #2934 · 20.09.2025 г., 07:03

#вакансия#datascientist#llm#nlp#HDFS#Kafka#Spark#удалёнка Ищем Senior Data Scientist в команду Поиск 3.0. Сейчас направление фокусируется на развитии Циан-помощника (наш LLM агент), делая его умнее и полезнее для всех пользователей и развитии текстового поиска, внедряя в него современные NLP и мультимодальные механики. Полная удалёнка внутри РФ. Если есть желание ходить в офис, у нас есть замечательные современные офисы в Москве, Питере и Новосибе. Вилка - от 350 до 500, готовы обсуждать. О нас: В Циан большая команда ML. В команде настроены процессы перфоманс ревью, регулярного обмена опытом, выделяем время на исследовательскую работу! Сейчас направление фокусируется на развитии текстового поиска, чтобы пользователи находили идеальные варианты быстрее, и Циан-помощнике, делая его умнее и полезнее. Задачи: * NLP задачи как в виде обучения моделей, так и в виде разработки вспомогательных сущностей на python * Внедрение мультимодального подхода к поиску * Развитие интеллектуального помощника по поиску недвижимости: обучение собственных llm моделей на базе opensource, исследование готовых решений от openAI/Yandex и других. * Разработка и внедрение в продакшн моделей машинного обучения для улучшения пользовательского опыта Требования: * Опыт: Не менее 3х лет релевантного опыта на позиции DS в продуктовой компании * Python: пишет легко читаемый и поддерживаемый код * SQL (оконные функции, оптимизация запросов) * Опыт в DL: обучение/дообучение собственных глубоких нейросетей * Опыт разработки NLP моделей: от tfidf до llm * Классический ML: бустинги, линейные модели. Будет плюсом: * Apache стек: HDFS/Kafka/Spark (DF API) * Опыт работы с CV и мультимодальными моделями Бонусы: ДМС с первого дня (стоматология, госпитализация, полис ВЗР), Кафетерий льгот, 5 day off в год, помимо основного отпуска. Контакты: По всем вопросам и с резюме пишите @mistakef Не забудьте указать, что вы из datasciencejobs

GitHub Trends

@githubtrending · Post #15246 · 24.10.2025 г., 13:30

#go#blob_storage#cloud_drive#distributed_file_system#distributed_storage#distributed_systems#erasure_coding#fuse#hadoop_hdfs#hdfs#kubernetes#object_storage#posix#replication#s3#s3_storage#seaweedfs#tiered_file_system SeaweedFS is a fast, simple, and highly scalable distributed file system designed to store billions of files and serve them quickly, especially small files. It uses a master server to manage volumes on volume servers, which handle file data and metadata, enabling very fast file access with minimal disk reads. It supports features like replication, erasure coding, cloud integration for elastic storage, and compatibility with many metadata stores and APIs including Amazon S3. This means you get efficient, cost-effective storage with fast access, easy scaling, and flexible deployment options for large-scale file storage needs. https://github.com/seaweedfs/seaweedfs