Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Вчера общался в наиприятнейшем коллективе государевых, и не только, людей. Надо было решить некоторые оргвопросы, поэтому в чат была закинута ссылка на гугл-таблицы, чтобы каждый мог отметить себя и работать дальше.
На мое старческое брюзжание, что инициативно на гугле собирать персональные данные русских людей негоже, получил что хотел. Иронию.
Но если серьезно, то сразу же в голове вспыхнуло: мы ведь не осознаем масштаб профайлинга нас самих. Профайлинг — это анализ поведения человека, на основе которого предсказываются его действия. В этот анализ идёт все: вербалика, невербалика, социальные паттерны в конкретных ситуациях и многое другое.
Естественно, ИИ-инструменты насыщают профайлинг каждого из нас тончайшими деталями. Такой цифровой след делает нашу личность уникальной и совокупный массив данных о нас позволяет идентифицировать человека даже без сотового телефона или аккаунта в соцсети. Потому что если на цифровом продукте нет плашки "Ai" или "Нейро", то, будьте уверены, под капотом у него нейросеть, которая анализирует и собирает воедино разрозненные данные.
В краткосрочной перспективе на нас таким нехитрым образом наживается рекламодатель, подсовывая именно то, что вы минуту назад запрашивали у умной колонки или поисковика. В долгосрочной...тут много вариантов, способных испортить аппетит утром.
Кадровый, маркетинговый, бизнес-профайлинг позволяют качественно решать задачи оценки рисков и принятия стратегии. Это если вы используете профайлинг. А если это делается в отношении вас? Да, сегодня мы привычно заливаем обобщенные данные в таблицу, а завтра по привычке взяли и закинули туда конфиденциальные сведения. И это тоже можно просчитать про каждого.
Оценить какие для вас ссылки самые кликбейтные тоже можно. И в нужный момент подсунуть именно такую, чтобы при нажатии вы словили логгер, — не так сложно. Для госслужащих рекомендую все же прочитать мой старый пост про Google и PRISM.
Табличку в итоге перенесли на Яндекс, хоть я и не настаивал. А вот следующая лекция в рамках общества "Знание" будет про профайлинг. Слишком уж там заманчивый компот из социологии, криминалистики, психологии и айти, куда ж без этого.
#google#prism#профайлинг#osint#внк
Вопросик на контроле
Фильм на вечер
Большой брат следит за нами. Тезис от капитана очевидность. Сегодня— да. До появления в московском аэропорту Эдварда Сноудена в массовом сознании было совсем иначе. Обыватель свято верил в тайну переписки, в неприкосновенность личной жизни и всё прочее благостное, шедшее по умолчанию с демократией из Белого Дома.
Привезший кучу материала про систему глобальной компьютерной разведки "PRISM" Сноуден раскрыл секрет Полишинеля. Оказывается, самые популярные сервисы, которые пользователь беззаботно кликает каждый день, работают в интересах Агентства национальной безопасности США.
Пойти против такой системы — это смертный приговор себе. Не взять такую систему себе на вооружение, когда к тебе приехал сотрудник АНБ, — фатальное упущение.
Потом уже выяснится, что "PRISM" — вершина айсберга и является составной частью системы глобальной разведки американцев. Имя ей — "Эшелон". Но это уже совсем другая история.
#prism#nsa#анб#инфобез#osint#кино
Вопросик на контроле