Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
The Atacameños are a people no less rare than the Aleuts, who from the beginning of their history lived in the northern part of Chile, mainly in the Andes mountains.
💭 Previously, the Atacama people spoke their own language, Kunsa, but it was lost in the mid-20th century and replaced by Spanish. After mastering llama breeding and corn cultivation, people began to lead a sedentary lifestyle, losing their nomadic roots.
💭 Today, the Atacama people live in several villages, as well as the small town of San Pedro de Atacama. They survive, among other things, thanks to tourists who come to see local attractions - the Licancabur volcano and the salt lake.
#Chili
Subscribe ➡️ 4elementos
#Chili
#IMOA
🌍 TMK va molibden gigantlari: kelajak metallari bo‘yicha kelishuvlar
🇨🇱 Xabaringiz bor, TMK delegatsiyasi Chili Respublikasining Vina-del-Mar shahrida Xalqaro Molibden Assotsiatsiyasi anjumanida ishtirok etdi.
👧Anjumanda “2024-yilda molibden iste’moli”, “Molibden parchalari va chiqindilarini qayta ishlash tahlili”, “Molybdenum mark" ishonch belgisiga erishish yo‘li”, “IMOA dasturlarining a’zolar uchun afzalliklari” va shu kabi muhim masalalar ko‘rib chiqildi hamda muhokama qilindi.
✅ Unda TMK vakillari ham faol ishtirok etib, Anglo American (Buyuk Britaniya), Glencore International AG (Shveysariya), Rio Tinto (Avstraliya), Mitsubishi Corporation (Yaponiya), Codelco (Chili) va shu kabi 40 dan ortiq molibden sohasida faoliyat yuritayotgan yetakchi korxonalar va savdo kompaniyalari bilan muzokaralar o‘tkazdi.
➡️Uchrashuv natijasida sanoat uchun muhim metallar xomashyosini TMKga yetkazib berish, tayyor mahsulotlarni Yevropa, AQSh va Janubi-Sharqiy Osiyo bozorlariga sotish hamda ushbu sohada tajriba almashishga kelishib olindi.
🫥🫥🫥
📎На русском языке
📎 In English
🫥🫥🫥
✅TMK matbuot xizmati
🌐Web-site|🔵Facebook |📷Instagram| 🎰LinkedIn|🎬Youtube|🚀Telegram
#TMK
#IMOA#Chili
⚡️TMK Xalqaro Molibden Assotsiatsiyasining 37-yillik anjumanida
🇨🇱 Ayni kunlarda Chili Respublikasining Vina-del-Mar shahrida Xalqaro Molibden Assotsiatsiyasining 37-yillik anjumani boʻlib oʻtmoqda. Anjumanda 50 dan ortiq kompaniyadan 200 ga yaqin vakil ishtirok etmoqda.
✅Ushbu nufuzli tadbirda mazkur uyushmaga aʼzo TMK ham oʻz delegatsiyasi bilan qatnashmoqda.
Anjuman dasturi doirasida 7–8 sentabr kunlariAssotsiatsiyaning Boshqaruv qoʻmitasi va Bozorni rivojlantirish qoʻmitasi yigʻilishlari,shuningdek, qator B2B uchrashuvlar oʻtkazildi.Molibden bozorini rivojlantirish qoʻmitasi yigʻilishida “OʻzTMK” AJ vakillari faol ishtirok etishdi.
🤝 Shuningdek, TMK delegatsiyasi molibden sohasidagi yetakchi kompaniyalar bilan ikki tomonlama muzokaralar oʻtkazdi. Ular Anglo American (Buyuk Britaniya), Chaoyang Jinda Molybdenum Co. Ltd (Xitoy), Shangxiang Minmetals Inc. (AQSh), Metherma KG (Germaniya), Bauer Energy Design (Kanada), Sojitz Corporation (Yaponiya), Molymet (Chili), MBR Metals (Estoniya), Thompson Creek Metals Company (AQSh) kompaniyalaridir.
✔️Uchrashuvlar natijasida sanoat uchun muhim xomashyo yetkazib berish, tayyor mahsulotlarni Yevropa va AQSh bozorlariga sotish hamda sohaviy tajriba almashish boʻyicha kelishuvlarga erishildi.
TMK vakillari anjuman doirasida oʻz faol ishtirokini davom ettirmoqda.
🫥🫥🫥
📎На русском языке
📎In English
🫥🫥🫥
✅TMK matbuot xizmati
🌐Web-site|🔵Facebook |📷Instagram| 🎰LinkedIn|🎬Youtube|🚀Telegram
Наши суперхоты знатно подросли за последнюю неделю😱🌶️💪
Еще дней 10 и они переедут на основное место жительства👨🌾
Всем огня🔥🌱🤘🏻
#chili#chilihead#superhot#carolinareaper#bhutjolokia#trinidadscorpion#habanero#ghostpeppers