Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 1 слични објави

Пребарај: #wavesummit2025

当前筛选 #wavesummit2025清除筛选

Machinelearning

@ai_machinelearning_big_data · Post #8485 · 09.09.2025 г., 13:11

Најди слично Погледај

🔥 Новые модели от Baidu На Wave Summit 2025 Baidu китайцы показали новое поколение своих моделей: - Reasoning-модель ERNIE X1.1: опережает DeepSeek R1 при цене в 2 раза ниже - ERNIE 4.5: обходит GPT-4.5 при цене всего в 1% от него 🔥ERNIE X1.1: 🟢 Точность фактов выросла на 34.8% 🟢 Следование инструкциям улучшено на 12.5% 🟢 Агентные функции стали лучше на 9.6% 📊 В тестах модель: - обошла DeepSeek R1-0528 - в ряде бенчмарков показывает уровень GPT-5 и Gemini 2.5 Pro Доступна в ERNIE Bot, приложении Wenxiaoyan и через API на платформе Qianfan. На первый взгляд, это достойная модель. Она не превосходит Gemini 2.5 Pro или GPT-5 в задачах reasoning, но с учётом ограничений по вычислительным мощностям в Китае — результат впечатляющий и заслуживает внимания. 🔥 ERNIE-4.5-21B-A3B-Thinking: СДелана на базе 21B-instruct, которая уже считалась одной из самых сильных компактных MoE. > 21B параметров всего, 3B активных > Улучшена производительность в reasoning-задачах и Кодине > Более точное использование тулзов > Поддержка расширенного контекста до 128K токенов > Apache 2.0 За свои деньги - отличная модель. 🟢Попробовать X1.1:https://ernie.baidu.com 🟢ERNIE 4.5: https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking 🟢 Сегодня в 07:00 AM UTC-7 — прямой эфир команды ERNIE, посвященный X1.1: https://youtube.com/live/1ZHqwkg9-x0?feature=share @ai_machinelearning_big_data #ERNIE#AI#Reasoning#WaveSummit2025

Hashtags

#ernie #ai #reasoning #wavesummit2025