Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
OpenAI представит первый свой гаджет в 2026: ждать ли революцию от ИИ-гиганта?
Скоро «умный» мир ждет пополнение: в 2026 году OpenAI планирует выпустить свой первый гаджет. Подробностей мало — компания не раскрывает ни цен, ни точных дат. По информации инсайдеров, это будет носимый аудио-девайс. Эксперты прогнозируют, что его отличительной чертой станет глубокое голосовое взаимодействие с ИИ, а дизайнерскую концепцию создаст легендарный Джони Айв (Jony Ive).
➡️Что это значит? OpenAI выходит за пределы софта, чтобы напрямую влиять на то, как мы взаимодействуем с ИИ в реальном мире.
➡️Почему это важно? Попытки создать гарнитуру для общения с ИИ уже были у Humane и Rabbit, но рынок пока не завоеван. Если OpenAI удастся предложить уникальный опыт, это может задать новый тренд.
Что думаете, удастся ли OpenAI переизобрести «умные» гаджеты?
#OpenAI#ИскусственныйИнтеллект#AIhardware#Гаджеты#ИИновости
Источники: Axios, TechCrunch.
https://t.me/semasci
⚡️ Google представила Coral NPU - открытую платформу для создания умных ИИ-устройств на Эйдж девайсах
Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек.
Coral NPU - это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств.
Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением - от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно.
🧩 Врунти:
- SDK и инструменты для TensorFlow Lite и ONNX
- Компилятор, квантование и оптимизация моделей
- Поддержка Python, C++ и микроконтроллеров
Как это работает
1. Модель обучается (в TensorFlow / PyTorch).
2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR → IREE → NPU binary.
3. Код работает прямо на устройстве, используя:
- RISC-V (управляет задачами)
- Векторные блоки( выполняют параллельные операции)
- Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии.
Результат - ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако.
Edge AI получает свою открытую архитектуру от Google.
Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
@ai_machinelearning_big_data
#EdgeAI#GoogleResearch#CoralNPU#RISC_V#AIHardware
🚀 AlphaTON Capital Secures $43 Million Strategic Funding for AI Infrastructure
AlphaTON Capital has announced a strategic financing agreement with Vertical Data, valued at approximately $43 million. According to Foresight News, the deal is expected to be finalized by the second quarter of 2026. The funding will focus on AI hardware deployment, accelerating the development of privacy computing and sovereign AI infrastructure. This initiative aims to support the integration of AI, digital assets, and confidential computing. Additionally, AlphaTON's AI and privacy computing infrastructure will provide foundational computing power for applications related to partners such as Telegram and Animoca Brands.
#AlphaTONCapital#StrategicFunding#AIInfrastructure#PrivacyComputing#SovereignAI#DigitalAssets#AIHardware#ConfidentialComputing#VerticalData#ForesightNews#Telegram#AnimocaBrands#TON