Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Ona tilimiz – milliy gʻururimiz va birdamligimiz timsoli
Bugun Oʻzbek tiliga davlat tili maqomi berilgan kun. Bu sana – xalqimizning tarixiy gʻalabasi, milliy o‘zligimiz va mustaqil fikrimiz timsoli. Ona tilimizni ardoqlash, uni asrab-avaylash va yanada rivojlantirish – har birimizning muqaddas burchimizdir.
—
Узбекский язык – это наша гордость, наша честь и символ единства
Сегодня мы отмечаем день, когда нашему языку был придан статус государственного языка. Это не просто дата в календаре – это знак национального самосознания и духовной независимости.
Любовь к родному языку и оказание содействия его развитию – долг каждого из нас.
#OnaTilim
👉@OlympicUz
olympic.uz I YouTube I Instagram I
#OnaTilim chellenjida ishtirok eting!
🖌21-oktyabr — O‘zbek tili bayrami kuni munosabat bilan Yoshlar ishlari agentligi #OnaTilimchellenjiga start berdi!
Tilimizning boy va betakror so‘zlarini birgalikda qayta kashf etamiz!
Yoshlar orasida kam ishlatiladigan so‘zlarni toping, ularning ma’nosini ayting va 1,5 daqiqagacha bo‘lgan ijodiy videoni tayyorlang.
🔹Videoni Instagram sahifangizga #OnaTilim heshtegi bilan joylashtiring va Yoshlar ishlari agentligini belgilang.
Eng yaxshi kontent egalari esdalik sovg‘alar bilan taqdirlanadi.
☑O’zbekiston Milliy universiteti
#video
#onatilim
“Milliy tilni yo'qotmak millatning ruhini yo'qotmakdur”, degan edi Abdulla Avloniy.
Hasanxon Yahyo domladan ona tili, so'zga e'tibor borasidagi fikrlarini tinglang.
🌐Sayt✈️Telegram✅Murojaat♾️Muhokama📱Instagram
#til#onatilim
Til – davlat timsoli, mulki, ruhi, millatning madaniy va ma’naviy boyligi, xalqning madaniyati, urf-odati, uning turmush tarzi, tarixidir.
1989 yilning 21 oktyabr kuni Vatanimizda davlat tilining huquqiy asoslarini belgilash bo‘yicha “Davlat tili to‘g‘risida”gi Qonun qabul qilinib, unga ko‘ra O‘zbek tiliga - Davlat tili maqomi berildi. Xalqimizning muqaddas qadriyatlaridan biri bo‘lgan ona tilimiz o‘zining qonuniy maqomi va himoyasiga ega bo‘ldi.
Shuningdek, 2020 yilning 10-aprel kuni O'zbekiston Prezidenti Shavkat Mirziyoyev «O'zbek tili bayrami kunini belgilash to'g'risida»gi qonunni imzoladi.
Qonunga asosan, 21-oktyabr O'zbek tili bayrami kuni etib belgilangan.
Fanlar akademiyasi Davlat va huquq instituti jamoasi barcha yurtdoshlarimizni O'zbek tili bayrami kuni bilan tabriklaydi.
📣Bizni ijtimoiy tarmoqlarda kuzating!
Web-sayt | Telegram | Facebook | You Tube
🇺🇿Qadring baland bo‘lsin, ona tilim!🌺
Ona tili — millatning g‘ururi, elning iftixori, xalqning bebaho boyligi.
Bugun, 21-oktyabr — o‘zbek tiliga davlat tili maqomi berilgan kun. Ushbu sana yuragimizda faxr, g‘urur va mehr tuyg‘ularini uyg‘otadi.
Til — bu millatning ruhi. Uni asrash, e’zozlash va avlodlar qalbiga mehr bilan singdirish — har birimizning muqaddas burchimizdir.
🎉 “Temiryo‘lkargo” AJ jamoasi barcha yurtdoshlarimizni ushbu qutlug‘ bayram — O‘zbek tili kuni bilan samimiy muborakbod etadi!
Keling, ona tilimizni har kuni qadrlaylik, so‘zini ardoqlaylik va uni faxr bilan qo‘llaylik! 💫
#OnaTilim#TilBayrami#Temiryolkargo
https://t.me/utycargo
utycargo.uz
📱facebook /📱x.com /📱web sayt/📱linkedin.com/📱instagram
#tilbayrami
#onatilim
#ozbektili
🇺🇿21-OKTABR – O‘ZBEK TILIGA DAVLAT TILI MAQOMI BERILGAN KUN!
✨ Til — millatning ruhi, xalqning yuragi, tarix va madaniyatining abadiy timsolidir. Bizning ona tilimiz — O‘zbek tili, ajdodlarimizning bizga qoldirgan eng bebaho merosidir.
⚡️ Har bir so‘zida mehr, har bir ohangida g‘urur mujassam bu til bizni birlashtiradi, yagona xalq sifatida iftixor bilan boshimizni baland ko‘tarishga undaydi.
🤝 Keling, bugun va har kuni ona tilimizga ehtirom bilan munosabatda bo‘laylik — uni sevaylik, asraylik va kelajak avlodlarga sof holda yetkazaylik.
🌿Til — millat ko‘zgusi, elning sha’ni va g‘ururi. Ona tilimiz barhayot bo‘lsin, so‘zimiz, ruhimiz, birligimiz abadiy bo‘lsin!
🌐Rasmiy sahifalarimizga obuna bo‘ling!
Oʻzbek tili – millat faxri!🌸
Bugun “Temiryoʻlkargo” AJ yoshlari Oʻzbek tiliga davlat maqomi berilgan kunni oʻzgacha ruhda nishonlashdi!🎉
Til bayrami doirasida ular oʻzaro chelenj uyushtirib, ish faoliyatida eng koʻp ishlatiladigan soʻzlarning oʻzbekcha muqobillarini oʻrganishdi. 💬🇺🇿
Koʻtarinki kayfiyat, ijobiy energiya va ona tilimizga boʻlgan mehr — bugungi bayramning eng asosiy mezoni boʻldi! 💫
#OnaTilim#TilBayrami#Temiryolkargo#YoshlarBirligi#OnaTilgaEhtirom
Узбекский язык - гордость нации! 🌸
Сегодня молодежь АО "Темирйулкарго" в особом духе отметила день, когда узбекскому языку был присвоен статус государственного!
В рамках праздника языка они организовали челлендж и изучили узбекские эквиваленты наиболее часто используемых слов в своей профессиональной деятельности.
Приподнятое настроение, позитивная энергия и любовь к родному языку стали главным критерием сегодняшнего праздника!
#МойРоднойЯзык#ЯзыковойПраздник#ЖелезнодорожныйКарго#ЕдинствоМолодежи#УважениекРодномуЯзыку
https://t.me/utycargo
utycargo.uz
📱facebook /📱x.com /📱web sayt/📱linkedin.com/📱instagram