Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
https://x.com/SavinoBalzano/status/2029135535571157083?s=20
È stata davvero una sorpresa: pare che #Parenzo sia diventato più trumpiano di #Trump. Eppure lo ricordo, insieme ad altri, tutto trafelato e spaventato per l’instabilità internazionale che il presidente USA provocava nel mondo. A breve lo vedremo ballare YMCA dei Village People con il cappellino MAGA.
Si sa: quando qualcuno aiuta Israele a “esportare la democrazia”, a salvare le donne dal velo (magari senza farle diventare adulte), diventa sempre un eroe.
Altro duro scontro ieri ai microfoni de #LaZanzara e di #Cruciani.
https://x.com/SavinoBalzano/status/1933896087649030183?t=2x91kd9LvA0Q5PWYvlfmfg&s=19
Il mio confronto civile e contenuto di ieri, con Parenzo e Cruciani a #LaZanzara.
Composto, a parte qualche lieve sbavatura: ammetto di averlo definito cassamortaro della propaganda e qualche altra cosetta...
#TerzaGuerraMondiale#Iran#Israele
Ieri mi è toccato affrontarne tre: Giuseppe Cruciani, David Parenzo e Andrea Ruggieri.
La prossima volta saranno in 4?
Sono rimasti solo loro a difendere Israele e Netanyahu.
La Zanzara - Radio 24 Radio 24
#GiuseppeCruciani#DavidParenzo#lazanzara
https://www.youtube.com/watch?v=W-4FE9CZ0Jc&ab_channel=SavinoBalzano
Scontro furibondo ieri con Giuseppe Cruciani e David Parenzo a La Zanzara, Radio 24.
Eppure mi pare di aver detto cose piuttosto ragionevoli: Netanyahu andrebbe processato per crimini di guerra.
#italia#politica#informazione#attualità #notizie#lazanzara#guerra#pace#Israele#Palestina#Israele
https://www.youtube.com/watch?v=_ZPM333sOxA&ab_channel=SavinoBalzano
Ieri, ospite de La Zanzara, di Giuseppe Cruciani e David Parenzo, ho detto la mia ancora una volta su questa storia dell'antifascismo.
A me questo governo non piace e penso che possa combinare guai grossi, molto grossi: proprio per questo abbiamo bisogno di un'opposizione seria.
Basta pagliacciate.
#politica#radio#lazanzara#radio24#italia#informazione#fascismo#antifascismo
Ieri altra zuffa a La Zanzara - Radio 24 sul tema dell'utero in affitto: io resto radicalmente contrario.
Ho dovuto riportare un pochino d'ordine: in studio Giuseppe Cruciani e David Parenzo, che tanto per cambiare mi ha dato dell'imbecille (e del demente...).
#lazanzara#radio24#italia#politica#informazione#radio#uteroinaffitto#lgbtqia
https://x.com/SavinoBalzano/status/2029497341670007129?s=20
Se l’operazione di #Israele e #StatiUniti (checché ne dica #Trump, l’ordine corretto è questo) la critica #DiBattista, Parenzo si infuria e gli dà dello zozzo.
Se lo fa #Cecchettin, Parenzuccio diventa un dolce cucciolotto: non è d’accordo, ma “rispetta molto”.
Ma guarda un po’. La dittatura del politicamente corretto continua a soffocarci e certi sacerdoti non possono essere minimamente criticati. Nemmeno quando muovono ridicole accuse di sessismo a Carlo #Conti.
E invece no: una cazzata resta una cazzata. Anche se la dice Cecchettin.
Ospite de #LaZanzara e di Cruciani.
Non esiste alcun rischio di ritorno del fascismo: tutte balle. L'opposizione trovi argomenti seri: ci sarebbero eccome!
Ieri ospite a La Zanzara - Radio 24 sono stato mandato "a fanculo" da David Parenzo dopo poco più di 40 secondi: il dato conferma inequivocabilmente come fossi dalla parte della ragione.
Però ci siamo divertiti.
.
.
.
.
.
.
Giuseppe Cruciani David Parenzo #lazanzara#zanzara Radio 24 #radio24#politica#informazione#radio#televisione#fascismo#fascista#antifascismo#antifascista#democrazia#liberta#italia