Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🔒 NebulaEncrypt - Chrome Extension for Secure Local Encryption on the Web.
• Автор этого репозитория решил еще больше обезопасить свои сообщения в Telegram и закодил плагин для локального шифрования для Telegram Web.
• Идея такая, отправлять не явные сообщения, а локально зашифрованные и далее плагин на лету их расшифровывает непосредственно на клиенте. Тем самым, даже если сервер скомпрометируют, то там можно будет найти только ваши закодированные сообщения, которые зашифрованы локальным ключем.
• Плагин больше, как концепция, интересно было попробовать насколько это может быть удобно. Так то можно использовать не только в телеге, но и в других мессенджерах, главное написать адаптер.
➡https://github.com/dmitrymalakhov/NebulaEncrypt
#Privacy
#PRIVACY
Il Garante per la protezione dei dati personali ha ordinato all’INPS il pagamento di una sanzione pari a 300mila euro in relazione alle violazioni commesse nell’ambito dell’accertamento effettuato dall’istituto di previdenza per il “bonus Covid” ai politici muniti di partita Iva.
La motivazione: l’istituto ha effettuato incroci tra i dati dei parlamentari che hanno richiesto il bonus con quelli di altri soggetti che ricoprivano incarichi di natura politica, senza però aver prima determinato se a costoro spettasse o meno il bonus. Inoltre, l’INPS ha violato il principio di “minimizzazione dei dati”, per aver avviato i controlli volti al recupero dei bonus anche nei confronti di coloro che avevano richiesto il beneficio, senza averlo però percepito a causa dell’assenza dei requisiti previsti in tal senso.
👉@giurisprudentia
📖Scraping vs. Privacy
Daniel Solove and Woodrow Hartzog published the final version of their paper “The Great Scrape: The Clash Between Scraping and Privacy,” which offers important insights on the intersection of privacy and AI.
The paper explores the fundamental tension between scraping and privacy law. With the zealous pursuit and astronomical growth of AI, we are in the midst of what we call the “great scrape.” There must now be a great reconciliation".
#AI#Privacy
Australia's Privacy Chief Hits Brakes on Untamed AI Rollout
Australia's newly appointed Privacy Commissioner, Carly Kind, is urging caution regarding the rapid implementation of Artificial Intelligence technologies. While not opposed to AI, Kind emphasizes the need for robust safeguards before widespread adoption.
Kind expresses frustration with the tech industry's push for swift AI deployment, prioritizing speed over careful consideration of potential risks and ethical implications. She highlights the need for a measured approach, allowing time to understand the technology's nuances and establish appropriate regulations to prevent misuse.
Australia's cautious approach to AI deployment reflects growing global concerns about the responsible development and use of this powerful technology. As AI continues to evolve, ensuring its implementation aligns with ethical principles and safeguards privacy will be crucial.
#ResponsibleAI#Privacy
19 октября успешно прошел Евразийский конгресс по защите данных (EDPC 2023).
DPO крупных компаний рассказывали об опыте построения систем защиты персональных данных.
Тема актуальная, доклады чрезвычайно полезные.
#privacy#dataprotection