Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🎉 Qwen3-VL теперь работает в llama.cpp!
Модель можно запускать прямо на своём устройстве - поддерживаются CPU, CUDA, Metal, Vulkan и другие бэкенды.
Доступны GGUF-веса для всех версий - от 2B до 235B. Можно запускать локально, без облака и сторонних сервисов 🚀
🤗 Hugging Face: https://huggingface.co/collections/Qwen/qwen3-vl
🤖ModelScope: https://modelscope.cn/collections/Qwen3-VL-5c7a94c8cb144b
📌PR: https://github.com/ggerganov/llama.cpp/pull/16780
@ai_machinelearning_big_data
#Qwen3#llm
⚡️ Qwen Deep Research получил полезное обновление
Теперь он создаёт не только отчёты, но и готовые веб-страницы и подкасты.
Работает связка Qwen3-Coder, Qwen-Image и Qwen3-TTS.
👉Попробовать: chat.qwen.ai/?inputFeature=deep_research
@ai_machinelearning_big_data
#Qwen#AI#DeepResearch#Qwen3#AItools
🚀 Команда Qwen представила Qwen3-Max-Preview (Instruct) — свою крупнейшую модель на сегодняшний день, с более чем 1 триллионом параметров
По бенчмаркам Qwen3-Max-Preview опережает предыдущий флагман Qwen3-235B-A22B-2507.
Внутренние тесты и первые отзывы пользователей говорят о том, что модель стала сильнее в диалогах, агентных задачах, следовании инструкциям и обладает более широкими знаниями.
Qwen обещают очень скоро выпустить ещё что-то интересное.
Qwen3-Max-Preview уже доступна в Qwen Chat и через Alibaba Cloud API.
Масштабирование работает.
🟢Qwen Chat: https://chat.qwen.ai
🟢Alibaba Cloud API: https://modelstudio.console.alibabacloud.com/?tab=doc#/doc/?type=model&url=2840914_2&modelId=qwen3-max-preview
@ai_machinelearning_big_data
#AI#Qwen3#LLM#AlibabaCloud#QwenChat
⚡️Qwen3-VL: выпустили технический отчёт по новой линейке VLM
Опубликован tech report по Qwen3-VL - мультимодальным моделям, работающим с изображениями и текстом.
Кратко :
- Три модели собрали 1M+ загрузок за месяц.
- Qwen3-VL-8B - более 2M скачиваний.
- Линейка развивает идеи Qwen2.5-VL (2800+ цитирований).
Что описано в отчёте:
- Архитектура vision–language модели.
- Процесс обучения: pretraining + post-training.
- Источники данных и методы фильтрации.
- Сравнения с другими VLM и ключевые метрики.
🔗 PDF: https://arxiv.org/pdf/2511.21631
🔗Видео: https://www.youtube.com/watch?v=clwFmuJX_wQ
@ai_machinelearning_big_data
#Qwen#Qwen3#QwenVL#Qwen3VL#LLM#AIModel
🎙️ Qwen3-ASR — универсальная модель распознавания речи!
🟢Поддержка EN/CN + ещё 9 языков: ar, de, en, es, fr, it, ja, ko, pt, ru, zh
🟢 Авто-определение языка
🟢 Модель умеет распознавать речь даже в сложных условиях — когда человек поёт, читает рэп или говорит под фоновую музыку. — WER <8% (ошибки меньше 8 слов на каждые 100)
🟢 Работает даже в шуме, низком качестве и на расстоянии
🟢 В модель можно добавить свои слова/термины/имена и фразы, и она будет их правильно распознавать
▪API：https://bailian.console.alibabacloud.com/?tab=doc#/doc/?type=model&url=2979031
▪ModelScope Demo: https://modelscope.cn/studios/Qwen/Qwen3-ASR-Demo
▪Hugging Face Demo: https://huggingface.co/spaces/Qwen/Qwen3-ASR-Demo
▪Blog：https://qwen.ai/blog?id=41e4c0f6175f9b004a03a07e42343eaaf48329e7&from=research.latest-advancements-list
@ai_machinelearning_big_data
#ASR#SpeechRecognition#Qwen3#AI#MachineLearning#DeepLearning#VoiceAI
#python#agent#agentic_ai#grpo#kimi_ai#llms#lora#qwen#qwen3#reinforcement_learning#rl
ART is a tool that helps you train smart agents for real-world tasks using reinforcement learning, especially with the GRPO method. The standout feature is RULER, which lets you skip the hard work of designing reward functions by using a large language model to automatically score how well your agent is doing—just describe your task, and RULER takes care of the rest. This makes building and improving agents much faster and easier, works for any task, and often performs as well as or better than hand-crafted rewards. You can install ART with a simple command and start training agents right away, even on your own computer or with cloud resources.
https://github.com/OpenPipe/ART
#go#gemma3#go#gpt_oss#granite4#llama#llama3#llm#on_device_ai#phi3#qwen3#qwen3vl#sdk#stable_diffusion#vlm
NexaSDK runs AI models locally on CPUs, GPUs, and NPUs with a single command, supports GGUF/MLX/.nexa formats, and offers NPU-first Android and macOS support for fast, multimodal (text, image, audio) inference, plus an OpenAI‑compatible API for easy integration. This gives you low-latency, private on-device AI across laptops, phones, and embedded systems, reduces cloud costs and data exposure, and lets you deploy and test new models immediately on target hardware for faster development and better user experience.
https://github.com/NexaAI/nexa-sdk