Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Claude Opus 4.5 вышел, и это новый король ИИ! 👑🤖
Gemini 3 Pro уже не лидер. Anthropic выпустили модель, которая доминирует в тестах и ставит ChatGPT на третье место.
Что умеет Claude Opus 4.5:
⏺️Решает реальные задачи с GitHub: анализирует код, исправляет баги, заливает фиксы — полный цикл разработки.
⏺️Обходит Gemini в большинстве benchmark-тестов (креатив, логика, код, многомодальность).
⏺️Работает с контекстом глубже и точнее — меньше галлюцинаций, больше смысла.
📉 Что теперь с рынком:
1️⃣
. Gemini 3 Pro — смещена с первого места.
2️⃣
. ChatGPT — опустился на третью позицию.
3️⃣
. Claude Opus 4.5 — новый лидер с упором на код и сложные задачи.
Anthropic сделали рывок. Теперь именно Claude та модель, которую боятся конкуренты. Gemini и OpenAI придётся догонять.
P.s Альтман, побереги свои нервы...😁
#ClaudeOpus#Anthropic#ИИ#Gemini#ChatGPT#кодинг#новости_технологий
Нейроофис💀
🚀 AI TRENDS | New Local Model Qwopus3.5-27B-v3 Released with High HumanEval Score
Developer Jackrong has introduced Qwopus3.5-27B-v3, a local model designed to operate on a single consumer GPU. According to NS3.AI, this model boasts an impressive 95.73% score on HumanEval. The Qwopus3.5-27B-v3 is distilled from Claude Opus 4.6-style reasoning and is available in GGUF format for use with LM Studio or llama.cpp.
#AI#Qwopus3.5 #HumanEval#Jackrong#ClaudeOpus#GGUF#LMStudio#llama_cpp#AITrends