TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #functiongemma

当前筛选 #functiongemma清除筛选

Google выпустила ИИ, который работает в телефоне БЕЗ интернета 🤯 Это FunctionGemma. Модель, которая все меняет. 📱Что это? —270 млн параметров (в 6600 раз меньше GPT-4!) —Весит всего 288 МБ (меньше мобильной игры) —Работает полностью на устройстве —Никаких серверов, облака и отправки данных ⚡Как работает? Вы говорите:«Добавь контакт Маша, +7 999 123-45-67» → ИИ понимает команду → Превращает её в код → Телефон выполняет. Всё за 0,3 секунды. Без интернета. 🔒Почему это прорыв? •Конфиденциальность: данные никуда не уходят •Скорость: 126 токенов/сек, ответы мгновенные •Эффективность: 25 диалогов = всего 0,75% батареи •Оффлайн: работает где угодно — в метро, самолёте, горах 🎯Что уже умеет? —Ставить будильники —Создавать встречи в календаре —Включать/выключать умные устройства —Прокладывать маршруты —Вести простой трекинг (например, выпитой воды) 🚀 Но главное — это смена парадигмы. Не «чем больше модель — тем лучше», а «правильный ИИ для правильной задачи». Маленькая,но идеально обученная модель на устройстве может быть лучше огромного облачного ИИ. Будущее ИИ — не в дата-центрах, а в вашем кармане. И оно уже здесь. Где попробовать? →Скачать: ollama pull functiongemma →Документация: https://ai.google.dev/gemma/docs/functiongemma →Модель: https://huggingface.co/google/functiongemma-270m-it P.S. Если интересно — лайк и репост помогают каналу расти! Подписывайтесь, чтобы не пропустить главное об ИИ. #GoogleAI#FunctionGemma#оффлайнИИ Https://t.me/semasci