Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🚀 ИИ-ВЗРЫВ: 11–14 июля 2025 — только факты, максимум эмоций
🔥 Специально для наших подписчиков — подкаст новостей ИИ от самого ИИ. Не просто текст, а живой голос и драйв! Включайте в дороге — и будьте в курсе главного за неделю.
Китай рвёт рынок! Kimi K2 от Moonshot — новая супер-модель: обошла западных гигантов, открытый код, минимализм без “словесного мусора”.
Grok-4 от xAI — вроде бы топ, но… 4% ответов про Илона Маска, баг “Heavy” взорвал форум (AI отвечает только “Heavy” — баг или искусство?).
Meta строит дата-центр мощнее Гувера: 5 ГВт ради одной мечты — сделать ИИ ещё умнее, быстрее, больше.
OpenAI нервничает: релиз open-source модели задержан, инсайдеры говорят — китайский успех Kimi K2 застал врасплох.
Perplexity атакует Google: их браузер Comet делает всё за пользователя. Гугл в шоке.
Тренды недели:
Молодые команды — на вершине. Старым гигантам пора паниковать?
Энергия и “железо” — новое поле битвы.
Агентные ИИ — не фантастика, а новая реальность.
Open-source умеет удивлять (и пугать конкурентов).
Полный разбор с деталями — в файле над постом выше.
Экономим вам 1343 минуты мониторинга: 189 сабреддитов, 449 твиттеров, 29 Discord — всё уже отсмотрено.
#ИИ#Новости#Moonshot#KimiK2#Grok4#Meta#OpenAI
DeepSeek R2: Ожидание затягивается.. ⏳
Ждали в апреле-мае релиза DeepSeek R2 (наш пост от апреля)?
преемника невероятно популярной модели R1, обещавшего революцию в кодинге и неанглоязычных рассуждениях.
Но, похоже, придется подождать дольше.
Что случилось?
Гендиректор DeepSeek Лян Вэньфэн недоволен результатами R2: модель пока не соответствует внутренним стандартам качества компании и сроки релиза снова не определены.
Технические сложности: Быстрому запуску могут помешать не только требования к качеству, но и острая нехватка серверных чипов Nvidia в Китае из-за американских санкций. Облачные провайдеры опасаются, что спрос на мощную R2 может превысить их текущие возможности.
Почему R2 так ждут? Потому что R1 – настоящий феномен!
➡️Майское обновление R1 (R1-0528) показало феноменальный прогресс в генерации кода! По данным LiveCodeBench, она вплотную приблизилась к топовым моделям OpenAI и обошла Grok 3 mini и Qwen 3!
➡️В феврале DeepSeek Chat привлек 524.7 млн посещений, обогнав ChatGPT и став самым быстрорастущим ИИ-инструментом в мире с долей рынка 12.12%!
➡️Пока DeepSeek шлифует R2, Илон Маск анонсировал релиз Grok 4 "вскоре после 4 июля" (ранее известная как Grok 3.5).
Что это значит?
DeepSeek явно не хочет выпускать "сырой" продукт, особенно на фоне успеха R1 и растущей конкуренции. Они стремятся сделать R2 по-настоящему прорывной. Однако задержки и проблемы с "железом" (чипы Nvidia) добавляют неопределенности.
Ждать ли нам R2 этим летом? Или осенью? Делитесь мнениями в комментариях!
#DeepSeek#DeepSeekR2#DeepSeekR1#ИскусственныйИнтеллект#ИИ#AI#Китай#Nvidia#Чипы#Reuters#TheInformation#Grok4#xAI#LiveCodeBench#Нейросети#БольшиеЯзыковыеМодели#LLM#NvidiaH100#Санкции
https://t.me/semasci
📊 AI-автоматизация на страже новостей!
За период 07.07.2025 – 10.07.2025 наша система автоматически проанализировала для вас:
191 топовый сабреддит
449 Twitter-аккаунтов
29 Discord-серверов (226 каналов, 12 761 сообщений)
⏳ Экономия вашего времени:
Если бы вы читали это вручную со скоростью 200 слов в минуту, ушло бы целых 806 минут — а так, всё самое важное уже собрано в одном месте!
tags:
companies #xai#perplexityai#langchain#cursor#cline
models #grok4#grok4heavy#claude4opus
topics #modelreleases#benchmarking#longcontext#modelpricing#modelintegration#voice#performance#scaling#gpuoptimization
people’s #elonmusk#aravsrinivas#igorbabuschkin#yuchenj_uw