Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Восьмая школа по гуманитарной информатике в Калининграде
12–14 декабря 2024 года на базе БФУ имени И. Канта пройдет VIII школа по гуманитарной информатике (KDH2024).
Принять участие в Школе можно в качестве слушателя, докладчика или спикера. К участию приглашаются студенты и молодые ученые, использующие в своей научной или учебной деятельности математические методы и цифровые технологии.
В программе мастер-классы, семинары и лекции по тематикам:
→ Количественные методы в исторических исследованиях и компьютерное источниковедение
→ Оцифровка исторических источников и виртуальная реконструкция историко-культурного наследия (3D-моделирование, фотограмметрия)
→ Базы данных и (гео)информационные системы в гуманитарных исследованиях и образовании
→ Компьютерная и корпусная лингвистика, цифровая филология
→ Анализ данных, нейросетевые и другие технологии искусственного интеллекта в прикладном аспекте.
⏳🔴 Заявки на участие в Школе принимаются до 1 октября 2024 годапо ссылке
⏳🔴 Статьи для публикации в сборнике Школы (РИНЦ) принимаются до 10 октября 2024 года на [email protected]
Подробная информация будет публиковаться в официальной группе Школы
#KDH2024#KDH
27-29 ноября 2025 года в БФУ им. И. Канта пройдет IX Калининградская школа по гуманитарной информатике (KDH2025).
К участию приглашаются студенты, аспиранты, молодые ученые и преподаватели, применяющие в своих исследованиях и учебной деятельности математические методы, цифровые технологии и искусственный интеллект в широком спектре гуманитарных и социальных наук.
Участвовать можно как слушатель (без доклада), докладчик или спикер. Лучшие работы участников будут опубликованы в сборнике Школы c индексацией в РИНЦ.
🔜 Дедлайн подачи статей и заявок на конференцию: 20 сентября 2025 года.
🔜 Формат конференции – смешанный
🔜Подробности – в прикрепленном информационном письме.
#KDH2025#DHBFU#KDH#конференции
#Slovacchia
Il #KDH|EPP ha presentato una mozione di sfiducia nei confronti del Vice-Presidente del Parlamento slovacco Lubos #Blaha (#Hlas|S&D), dopo che quest’ultimo ha sostituito il ritratto, presente nel suo ufficio, della Presidente #Čaputová con quello di Che Guevara.
@OsservatorioEsteri
#Slovacchia
Peter #Pellegrini (#Hlas|S&D): “Proseguiremo le trattative solo con #Smer|S&D e #SNS|Destra radicale russofila. Ritengo insostenibile una coalizione con #PS|RE, #KDH|EPP e #SaS|ECR, perché i membri di questi partiti hanno già iniziato ad attaccarsi a vicenda pochi giorni dopo le elezioni.”
@OsservatorioEsteri
#Slovacchia
È stata pubblicata la lista del Governo tecnico Ľudovít #Ódor:
-Primo Ministro: Ľudovít #Ódor;
-Vicepremier e Ministra per il PNRR e l'utilizzo dei Fondi Europei: Lívia #Vašáková;
-Ministro dell'Economia: Peter #Dovhun;
-Ministro delle Finanze: Michal #Horváth;
-Ministro dei Trasporti: Pavol #Lančarič;
-Ministro dell'Agricoltura e dello Sviluppo Rurale: Jozef #Bíreš;
-Ministro degli Investimenti, dello Sviluppo Regionale e dell'Informatizzazione: Peter #Balík;
-Ministro degli Interni: Ivan #Šimko (#KDH|EPP);
-Ministro della Difesa: Martin #Sklenár;
-Ministra della Giustizia: Jana #Dubovcová;
-Ministro degli Esteri: Miroslav #Wlachovský;
-Ministra del Lavoro e della Famiglia: Soňa #Gaborčáková (#KDH|EPP);
-Ministro dell'Ambiente: Milan #Chrenko;
-Ministro dell'Istruzione, della Scienza e dello Sport: Daniel #Bútora;
-Ministra della Cultura: Silvia #Hroncová;
-Ministro della Salute: Michal #Palkovič.
Il nuovo governo presterà giuramento lunedì 15 maggio.
@OsservatorioEsteri