Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#US Une voyageuse de 38 ans arrêtée à l'aéroport en Floride par #reconnaissance#faciale, les caméras ont détecté qu'elle ne ressemblait pas à la photo de la carte d'identité. Elle avait effectivement demandé à quelqu'un d'autre d'acheter son billet d'avion pour elle car sa carte d'id était expirée. L'enquête dit que la personne ayant prêté sa carte était en prison, et la voyageuse a été arrêtée pour "usage criminel d'informations personnelles".
Mais la partie importante pour moi c'est comment on traite toute la population comme des #criminels potentiels en imposant ces caméras de surveillance, puis de voir comment ce genre d'articles justifient leur flicage. Après, ce sera dans les trains? Le métro? https://www.travelpulse.com/news/airlines-airports/traveler-arrested-after-airport-facial-recognition-technology-catches-fake-id
La mémoire de nos souffrances : un devoir qui nous incombe*
Il est temps que nous, peuple noir et Africains, prenions pleinement conscience de l'importance de défendre et de reconnaître notre propre mémoire de la souffrance. Trop souvent, nous avons ignoré, minimisé, voire ridiculisé nos propres tragédies, nos martyrs, nos souffrances passées.
En ne reconnaissant pas et en ne défendant pas notre propre mémoire, nous ouvrons la porte à d'autres pour minimiser les atrocités et les crimes contre l'humanité que nous avons subis.
Exemples concrets : Combien de dirigeants africains en Afrique de l’Ouest, dans les anciennes colonies françaises, organisent chaque année une commémoration en février pour honorer les victimes de la colonisation, de la déportation et des crimes commis par la France ? Aucun. Et pourtant, les populations semblent indifférentes, ne réclament pas non plus cette reconnaissance.
Les capitales des pays africains portent encore des noms de personnes responsables de génocides, comme De Gaulle, Léopold II, et des rues, des lycées portent les noms de colonisateurs européens qui ont commis des actes de barbarie.
Même des personnalités européennes comme Napoléon ou De Gaulle sont célébrées chaque année dans nos pays, alors qu'ils ont participé à l'oppression et à la souffrance de nos ancêtres.
Il est temps que nous prenions conscience de notre propre histoire, que nous défendions la mémoire de nos ancêtres et que nous exigions la reconnaissance de leurs souffrances. C'est à nous de le faire, personne d'autre ne le fera à notre place.
#Mémoire#Souffrance#Reconnaissance#Responsabilité#Histoire#Afrique
Qu'en penses-tu ?
@egountchibehanzinTV
#python#blueteam#discovery#emails#information_gathering#osint#python#recon#reconnaissance#redteam#subdomain_enumeration
theHarvester is a free, easy-to-use tool that helps you gather public information about a domain, such as emails, subdomains, IPs, and URLs, from many online sources like search engines and databases. It is useful during security testing to understand a company’s external exposure and find potential vulnerabilities. You can run it with Python and it supports features like DNS brute forcing and taking screenshots of found subdomains. Using theHarvester helps you quickly collect valuable data for cybersecurity assessments, making your research more efficient and thorough.
https://github.com/laramies/theHarvester
#python#cli#cti#cybersecurity#forensics#hacktoberfest#information_gathering#infosec#linux#osint#pentesting#python#python3#reconnaissance#redteam#sherlock#tools
Sherlock is a powerful tool that helps you find social media accounts by username across over 400 networks. It's easy to use and works on many operating systems like macOS, Linux, and Windows. You can install it using methods like `pipx` or Docker, and then simply type the username you want to search for. Sherlock will show you where that username is used on different social media platforms. This tool is useful for gathering information quickly and can be run locally or even online through services like Apify. It saves time and effort in finding accounts across many platforms.
https://github.com/sherlock-project/sherlock