Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 3 слични објави

Пребарај: #mlkit

当前筛选 #mlkit清除筛选

Android Broadcast

@android_broadcast · Post #9189 · 22.05.2025 г., 17:57

Најди слично Погледај

🤖⭐️Google выпустила GenAI API на основе Gemini Nano как часть ML Kit В первой порции доступны 4 API (бета статус): суммаризация, исправление, перефразирование, описание изображения. Все модели работают на основе AI Core и полностью на устройстве пользователя. Это значит что все обрабатывается безопасно и работает без наличия интернета. Пока поддерживается только небольшой список устройств (например, Pixel только линейка последнего поколения). Обещают расширять список в будущем. Скорее всего это связано с необходимой мощностью и оперативной памятью для запуска. Подробнее в документации #android#mlkit#gemini#googleio

Hashtags

#android #mlkit #gemini #googleio

Android Broadcast

@android_broadcast · Post #9206 · 24.05.2025 г., 12:00

Најди слично Погледај

📹Finding The Perfect Gemini fit on Android (13 мин) Рассказ про GenAI модели из Google ML Kit и как можно их использовать на устройствах без подключения к сети (список моделей - флагманы 2024-2025 года) #android#mlkit#ai#gemini#googleio

Hashtags

#android #mlkit #ai #gemini #googleio

Android Broadcast

@android_broadcast · Post #9864 · 02.03.2026 г., 05:47

Најди слично Погледај

🤖Google анонсировали Automated Prompt Optimization (далее APO) для Vertex AI. Это будет полезно всем тем кто работает с on-device AI на Android Если вы ещё не слышали про ML Kit Prompt API — это способ запускать Gemini Nano прямо на Android устройстве без обращения к серверу. Модель живёт в Android AICore как системный сервис, приложение просто отправляет промпт и получает ответ. APO появился с целью настройки общей модели под конкретную задачу. Это облачный инструмент, который автоматически ищет оптимальный системный промпт для вашей задачи. Вы даёте примеры входных данных и ожидаемых ответов, Gemini Pro/Flash анализирует ошибки, генерирует десятки вариантов промптов параллельно и выбирает лучший. На выходе — просто текст промпта, который вы зашиваете в своё приложение. Google утверждают, что это даёт📈 +5–8% к точности на реальных задачах: классификация, перевод, определения намерения. Пока ML Kit Prompt API доступен только на ограниченном числе устройств, но направление очевидно — Google всерьёз строят экосистему on-device AI для Android-разработчиков 🔗 Источник - официальный блог Android Developers #Android#AndroidDev#MLKit#GeminiNano#OnDeviceAI

Hashtags

#android #androiddev #mlkit #gemininano #ondeviceai