Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
⚡️Rossiyada VPN ruxsat etildi!
🇷🇺 Endi RF hududida FSB litsenziyasiga ega sotuvchilardan VPN’ni qonuniy ravishda sotib olish mumkin. Asosan bunday xizmatlarni aloqa operatorlari taqdim etadi. U orqali esa Telegram va Instagram kabi tarmoqlarga kirsa bo'ladi shunda.
➡️#rossiya | Birinchi IT-Blog
🛰 "MegaFon" Rossiyada sputnik-internet tayyorlamoqda
📡 Rossiyaning chekka hududlariga internet olib borish uchun yangi loyiha e'lon qilindi. 2027-yilgacha sun'iy yo‘ldosh orqali 500 baza stansiyasi ulanishi rejalashtirilgan.
🌐 Loyiha yuqori tezlikdagi internet va past kechikishni ta'minlab, chekka hududlarda telemeditsina va boshqa zamonaviy xizmatlardan foydalanish imkonini beradi.
➡️#rossiya | Birinchi raqamli IT-Blog
📵Smartfon o'z egasining burnini sindirdi
😴 24 yoshli qiz ijtimoiy tarmoqlarni ko‘rayotib uxlab qolganida, qo'lidagi smartfoni yuziga tushib, burnini sindirib qo‘ydi. Bu hodisa Moskva viloyatida sodir bo‘ldi.
🏥 Vrachlar unga kechasi tez yordam ko‘rsatib, burun sinishini o‘ngladilar. Aytilishicha, 10 kun ichida shish qaytishi kutilmoqda.
⚠️ Ushbu voqea gadjetlardan ehtiyot bo‘lishni yana bir bor eslatadi. Telefoningizni o‘z vaqtida qo‘yib, dam olishni unutmang!
➡️#rossiya | Birinchi raqamli IT-Blog
🚫 Discord bloklandi!
🇷🇺 Rossiya qonunchiligi talablariga rioya qilmaganligi uchun Discord platformasi blok qilindi va endi VPNsiz ishlamasa kerak u ham.
➡️#rossiya | Birinchi raqamli IT-Blog
😀Youtube cheklanishi ortidan Rossiyada mana shunaqangi memlar ham paydo bo'lmoqda
💿 Bu degani, har oyda chiqadigan qiziqarli videolar xuddi oldingidey diskka yozilib sotiladi. Bu hazil albatta.
➡️#rossiya | Birinchi raqamli IT-Blog
1-sentabrdan boshlab Rossiyada barcha smartfonlarga oldindan majburiy tarzda Max ilovasi o‘rnatiladi — deb ma’lum qildi Hukumat
Rossiyaning “MAX” messenjerini majburiy joriy qilishiga bir nechta asosiy sabablar bor:
🔹 1. Raqamli suverenitet
— Rossiya oxirgi yillarda “raqamli mustaqillik” siyosatini kuchaytirayapti.
— WhatsApp, Telegram, Instagram kabi xorijiy messenjer va ijtimoiy tarmoqlarga to‘liq ishonmaydi, chunki ular chet el serverlarida ishlaydi.
— Shu sababli o‘zining milliy messenjerini joriy qilib, barcha aloqa va ma’lumotlarni mahalliy serverlarda saqlashni istayapti.
🔹 2. Nazorat va xavfsizlik
—MAX’da end-to-end shifrlash yo‘q, ya’ni barcha yozishmalar serverlarda ochiq saqlanadi.
— Hukumat bu orqali foydalanuvchilarning xatti-harakatlarini, moliyaviy operatsiyalarini va aloqa doirasini kuzatishi mumkin.
— Bu xavfsizlikni ta’minlash deb e’lon qilinsa ham, amalda tsenzura va nazoratni kuchaytirishga xizmat qiladi.
🔹 3. Import o‘rnini bosish va ichki bozorni qo‘llash
— Chet el messenjerlariga qarshi cheklovlar fonida (masalan, WhatsApp va Telegramda qo‘ng‘iroqlar bloklangan), foydalanuvchilarni asta-sekin mahalliy ilovaga o‘tkazish rejalashtirilgan.
— Shu bilan Rossiya o‘z kompaniyalarini qo‘llab-quvvatlaydi.
👍Bizning barcha loyihalar | #rossiya
Prezident Shavkat Mirziyoyev Rossiyaga amaliy tashrifini yakunlab, Toshkentga joʻnab ketdi. Oliy martabali mehmonni Sankt-Peterburg gubernatori Aleksandr Beglov va boshqa rasmiy shaxslar kuzatib qoʻydi.
—
Президент Шавкат Мирзиёев завершил свой рабочий визит в Россию и отбыл в Ташкент. Высокого гостя проводили губернатор Санкт-Петербурга Александр Беглов и другие официальные лица.
#Mirziyoyev#tashrif#Rossiya
Prezident.uz|Facebook|Instagram|YouTube|X
🇷🇺Rossiyada Telegram yetib keldimi?
📉 Aytishlaricha, Moskva va Sankt-Peterburg foydalanuvchilari ilova ishlamayotganidan ommaviy shikoyat qilishmoqda. Uyoqdagi obunachilarimizda nima gap?
➡️#telegram#rossiya | Birinchi IT-Blog
Oʻzbekiston Respublikasi Prezidenti Shavkat Mirziyoyev amaliy tashrif bilan Sankt-Peterburg shahriga keldi. “Pulkovo” xalqaro aeroportida oliy martabali mehmonni gubernator Aleksandr Beglov va boshqa rasmiy shaxslar kutib oldi.
—
Президент Республики Узбекистан Шавкат Мирзиёев прибыл с рабочим визитом в Санкт-Петербург. В международном аэропорту «Пулково» высокого гостя встретили губернатор Александр Беглов и другие официальные лица.
#Mirziyoyev#tashrif#Rossiya
Prezident.uz|Facebook|Instagram|YouTube|X
Oʻzbekiston Respublikasi Prezidenti Shavkat Mirziyoyev amaliy tashrif bilan Sankt-Peterburg shahriga keldi. “Pulkovo” xalqaro aeroportida oliy martabali mehmonni gubernator Aleksandr Beglov va boshqa rasmiy shaxslar kutib oldi.
—
Президент Республики Узбекистан Шавкат Мирзиёев прибыл с рабочим визитом в Санкт-Петербург. В международном аэропорту «Пулково» высокого гостя встретили губернатор Александр Беглов и другие официальные лица.
#Mirziyoyev#tashrif#Rossiya
Prezident.uz|Facebook|Instagram|YouTube|X