Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🔒 NebulaEncrypt - Chrome Extension for Secure Local Encryption on the Web.
• Автор этого репозитория решил еще больше обезопасить свои сообщения в Telegram и закодил плагин для локального шифрования для Telegram Web.
• Идея такая, отправлять не явные сообщения, а локально зашифрованные и далее плагин на лету их расшифровывает непосредственно на клиенте. Тем самым, даже если сервер скомпрометируют, то там можно будет найти только ваши закодированные сообщения, которые зашифрованы локальным ключем.
• Плагин больше, как концепция, интересно было попробовать насколько это может быть удобно. Так то можно использовать не только в телеге, но и в других мессенджерах, главное написать адаптер.
➡https://github.com/dmitrymalakhov/NebulaEncrypt
#Privacy
#PRIVACY
Il Garante per la protezione dei dati personali ha ordinato all’INPS il pagamento di una sanzione pari a 300mila euro in relazione alle violazioni commesse nell’ambito dell’accertamento effettuato dall’istituto di previdenza per il “bonus Covid” ai politici muniti di partita Iva.
La motivazione: l’istituto ha effettuato incroci tra i dati dei parlamentari che hanno richiesto il bonus con quelli di altri soggetti che ricoprivano incarichi di natura politica, senza però aver prima determinato se a costoro spettasse o meno il bonus. Inoltre, l’INPS ha violato il principio di “minimizzazione dei dati”, per aver avviato i controlli volti al recupero dei bonus anche nei confronti di coloro che avevano richiesto il beneficio, senza averlo però percepito a causa dell’assenza dei requisiti previsti in tal senso.
👉@giurisprudentia
📖Scraping vs. Privacy
Daniel Solove and Woodrow Hartzog published the final version of their paper “The Great Scrape: The Clash Between Scraping and Privacy,” which offers important insights on the intersection of privacy and AI.
The paper explores the fundamental tension between scraping and privacy law. With the zealous pursuit and astronomical growth of AI, we are in the midst of what we call the “great scrape.” There must now be a great reconciliation".
#AI#Privacy
Australia's Privacy Chief Hits Brakes on Untamed AI Rollout
Australia's newly appointed Privacy Commissioner, Carly Kind, is urging caution regarding the rapid implementation of Artificial Intelligence technologies. While not opposed to AI, Kind emphasizes the need for robust safeguards before widespread adoption.
Kind expresses frustration with the tech industry's push for swift AI deployment, prioritizing speed over careful consideration of potential risks and ethical implications. She highlights the need for a measured approach, allowing time to understand the technology's nuances and establish appropriate regulations to prevent misuse.
Australia's cautious approach to AI deployment reflects growing global concerns about the responsible development and use of this powerful technology. As AI continues to evolve, ensuring its implementation aligns with ethical principles and safeguards privacy will be crucial.
#ResponsibleAI#Privacy
19 октября успешно прошел Евразийский конгресс по защите данных (EDPC 2023).
DPO крупных компаний рассказывали об опыте построения систем защиты персональных данных.
Тема актуальная, доклады чрезвычайно полезные.
#privacy#dataprotection