Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
😊Koʻzlarimiz quvonchi boʻlgan jajji bolajonlar!
👷♂️Oʻzbekistondagi KNAUF guruhi sizlarni bayram bilan tabriklaydi.
Ijodingiz hech qachon soʻnmasin, eng ezgu orzularingizga hamisha erishib yuring.👌
Axir, orzular bolalikdan yaratilar!
- - - - -
😊Дети, детки, детишки!
👷♂️Группа КНАУФ в Узбекистане поздравляет вас с праздником.
Желаем неиссякаемого воображения, и воплощения самых заветных желаний.👌
Ведь все мечты строятся с детства!
Сайт|Facebook | Instagram
#knaufuzbekistan#1iyun#деньдетей#1июня
1-Iyun – Xalqaro bolalarni himoya qilish kuni🎈
Bugun biz bolalarga bir lahza to‘xtab qaraymiz. Ularning ko‘zidagi ishonch, orzular va beg‘ubor tabassum — bularning barchasi bizni yanada mas’uliyatliroq bo‘lishga undaydi.
👧🏻👦🏻 Bolalarga sifatli ta’lim — bu faqat maktab emas, bu ularning kelajagi, orzulariga eltuvchi ko‘prikdir.
😎 “Teach for Uzbekistan” — yurtimizning turli hududlarida bolalarga mehr bilan ta’lim berayotgan jamoa.
💛 Bugungi videoda o‘sha orzular sari yo‘l olayotgan bolalarni ko‘rasiz. Ular bilimi, ijodi, o‘yin va orzulari bilan qalbimizni zabt etmoqda.
💡 Ularning porloq kelajagi uchun birgalikda hissa qo‘shaylik.
📢 Siz ham bu yo‘lda o‘z hissangizni qo‘shmoqchimisiz? Unda bizga qo‘shiling!
#1iyun#bolalarkuni#xalqarobolalarnihimoyaqilishkuni#TeachforUzbekistan
🎈1-iyun — Xalqaro bolalarni himoya qilish kuni🎈
Mehrli maktab jamoasi barcha bolajonlarni bugungi bayram bilan samimiy muborakbod etadi!
❤️Har bir bola mehr-muhabbatga, ta’limga, sog‘lom hayotga va orzu qilish huquqiga ega.
🌞Farzandlarimiz – kelajagimiz, ertamiz, umidimiz. Ularni asrash, ularga g‘amxo‘rlik qilish – nafaqat ota-onalar, balki butun jamiyatning muqaddas burchidir.
#1iyun#BolalarniHimoyaQilishKuni#MehrliMaktab#BolalarKelajagimiz#MehrVaEhtibor
🎉 1-IYUN munosabati bilan “BOLALAR UCHUN TIL OLAMI” festivali! 🌍👧🧒
⠀
📅 Sana: 31-may
🕤 Vaqt: 8:30
⠀
Xalqaro bolalarni himoya qilish kuni munosabati bilan ADC o‘quv markazi 12 yoshgacha bo‘lgan bolalar va ularning ota-onalarini til olamiga qiziqarli sayohatga taklif etadi! ✨
⠀
🔹 Dasturda:
🧩 "Til topqichlar" kvesti — ingliz, nemis va ispan tillarida so‘zlarni topamiz!
🎭 "Teatr stansiyasi" — ertaklardan sahnalarni jonlantiramiz, niqoblar va shlyapalar kiyib o‘ynaymiz!
🎨 "Ijodiy burchak" — bayroqlar chizamiz, chet tillardagi iboralar bilan tabriknomalar yasaymiz.
🎤 "Bolalar karaokesi" — sevimli, oddiy qo‘shiqlarni birga kuylaymiz!
⠀
🍪 Shirinliklar va oilaviy fotosuratlar uchun fotoburchak
💃 Yakuniy flеshmob — hamma birga o‘rganadigan raqs yoki qo‘shiq!
⠀
#ADCfest#1iyun#BolalarniHimoyaQilishKuni#BolalarUchunFestival#ADCschool#ADCkids#TilOlamigaSayohat#O‘ynabO‘rganamiz #ADCfamily
☎️742261078
Telegram: 📺@admofadc
📱Telegram📱Instagram📱Facebook📱TikTok📱YouTube
⠀
🎉 HUMO ARENA поздравляет с Днём защиты детей! 🌈💫
Дети — наше будущее, наша радость и вдохновение. Пусть каждый ребёнок будет окружён любовью, заботой и смехом! 💖
Желаем всем малышам счастливого детства, ярких эмоций и исполнения самых заветных мечт! 🧸🎈
С любовью,
ваша HUMO ARENA 💙
#HumoArena#ДеньЗащитыДетей#1июня#СчастливоеДетство#Семья#ПраздникДляВсех
💙💙💙💙💙💙💙💙💙💙💙💙💙💙
🎉 HUMO ARENA barcha bolalarni 1-iyun – Bolalarni himoya qilish kuni bilan tabriklaydi! 🌈💫
Bolalar — bizning kelajagimiz, quvonchimiz va ilhom manbaimiz. Har bir bola mehr, g‘amxo‘rlik va kulguga burkangan baxtli bolalikni boshdan kechirsin! 💖
Barcha kichkintoylarga baxtli bolalik, yorqin his-tuyg‘ular va orzu-umidlarning ro‘yobga chiqishini tilaymiz! 🧸🎈
Muhabbat bilan,
sizning HUMO ARENA 💙
#HumoArena#BolalarniHimoyaQilishKuni#1iyun#BaxtliBolalik#Oila#Bayram