TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #fiddler

当前筛选 #fiddler清除筛选
Data Science Jobs

@datasciencejobs · Post #2243 · 02.08.2024 г., 12:34

#вакансия#nlp#llm#senior Senior QA Automation (LLM, NLP) Требуемый опыт работы: 3–6 лет Полная занятость, полный рабочий день Мы — АТОМ. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы. Ищем Senior QA Automation в команду AI, LLM-Lab, которая работает над рядом проектов: Голосовой ассистент для заказа товаров и услуг, в котором используются передовые технологии распознавания и синтеза речи, понимания естественного языка на основе нейросетевых моделей. Разработка умных чат-ботов и других проектов в домене LLM/NLP. Ваши задачи: - налаживать процесс автоматизации тестирования; - проводить тестирование - регрессионное, интеграционное и функциональное; - тестировать ML-системы; - анализировать функциональные требования и результаты тестирования на соответствие этим требованиям; - исследовать проблемы, возникающих в работе сервисов; - анализировать проблемы и запросы пользователей, ставить задачи разработчикам; - вести тест-кейсы в системе управления тестами (Allure TestOps). Стек: Python, PostgreSQL, PyTorch, Ray/Triton Inference Server, k8s, redis Наши ожидания: - опыт построения систем автоматизированного тестирования; - умение читать и писать код на Python; - опыт работы/тестирования ML-систем (NLP/LLM-моделей); - опыт работы с CI/CD инструментами; - опыт работы с Allure TestOps; - Fiddler, Swagger, Postman; - опыт оценки задач на тестирование с учетом ресурсов и рисков; - знание английского языка на уровне, необходимом для чтения технической литературы. Будет плюсом: - опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя; - опыт работы с GraphQL; - опыт работы с брокерами сообщений Kafka/Rabbit; - опыт работы auto-QA в команде GigaChat, YaLM , YandexGPT; - опыт работы auto-QA в голосовых ассистентах Маруся, Алиса, Салют. Мы предлагаем: - высокотехнологичный, интересный продукт, возможность создавать новые процессы и влиять на развитие; - работа в команде высококвалифицированных профессионалов из России, Китая, Европы; - корпоративная культура, выстраиваемая в духе инноваций, открытые горизонтальные коммуникации; - конкурентная официальная белая заработная плата; - годовой бонус; - кафетерий льгот (“плюшки”) - ДМС со стоматологией, питание, транспорт, страхование жизни и имущества, фитнес, обучение и многое другое; - бесплатный доступ к платформе с обучающими курсами iSpring, корпоративное обучение китайскому языку, спортивные командные игры и другие приятные мелочи; корпоративное оборудование; - гибридный или удаленный формат работы; - трудоустройство в аккредитованной ИТ-компании. Пройди вместе с нами крутой кейс по созданию электромобиля с нуля! ✍️По всем вопросам, а также для отправки резюме/cv обращайтесь: @tanya_yuu #CI#CD#Allure#TestOps#SQL#Fiddler#Swagger#Postman#QA#Python#LLM#NLP#ML#DataScience#AutomationQA#NaturalLanguageProcessing