Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Шу пуэр 2023 г. «Сильный духом» марки «Чайная Линия» 357г
#puerh#tea#china#russia#шу#пуэр#натуральный#спелый#чай#чайная#китай#россия#чайнаялиния#чл#puer#сильный#духом#черныйчай#blacktea
https://chaline.ru/catalog/chay/puer_i_chyernyy_chay/chaynaya_liniya/6572/?oid=99057
#chalineчай
#chalineпроисхождение
Прогулка по Гуанчжоу #china#travel#китай#гуанчжоу#guangzhou#tea#чайнаялиния#chinatea#puer#пуэр#шэн#шу#чай#китайскийчай#природа#отдых#путешествия#парк#чл#чайная#командировка
Шу пуэр 2020 г. «В игре» марки «Чайная Линия»
Форма прессовки - Фан ча (квадрат)
Вес - 90гр.
#puerh#tea#china#russia#Ripe#шу#пуэр#натуральный#спелый#чай#чайная#китай#россия#чайнаялиния#бодрость#китайскийчай#ритм#свежесть#тонус#энергия#puer#чл
https://chaline.ru/catalog/chay/puer_i_chyernyy_chay/chaynaya_liniya/6468/?oid=99404
#chalineчай
#chalineпроисхождение
💚Наша команда сейчас находится в Китае🇨🇳 Как всегда, лично выбираем только лучшие, высококачественные и редкие чаи!💚
Следите за новостями, будем оперативно информировать вас! На связи, друзья!🙏👍
#китай#puerh#tea#china#russia#шу#пуэр#чай#travel#китай#азия#россия#чл#чайнаялиния#черныйчай#puer#black#blacktea#шупуэр#путешествия#шэн#шэнпуэр#желтыйчай#белыйчай#красныйчай#чайная#чайнаяцеремония#Юньнань
Древние чайные деревья 🌳 в тумане🌫. Деревня Хуа Чжу Лян Цзы (滑竹梁子) горы Мэнсун
Здесь, на высоте 2005 метров среди густого леса, в борьбе за жизнь, растут старые чайные деревья. Чистейшая экология, полностью дикорастущая среда обитания.
Мы видели всё своими глазами и трогали всё своими руками, и вскоре привезём лучшие пуэры из деревни Хуа Чжу Лян Цзы (шэн пуэр и шу ферментация в корзинах малого объёма от нашего мастера Чжан Дэчунь (кит. 张德春, пиньин zhāng déchūn)).
#хуачжулянцзы#китай #puerh#tea#china#мэнсун#шу#пуэр#чай#travel#китай#азия#россия#чл#чайнаялиния#черныйчай#puer#black#blacktea#шупуэр#путешествия#шэн#шэнпуэр#желтыйчай#белыйчай#красныйчай#чайная#чайнаяцеремония#Юньнань
#chalineчай
#chalineпроисхождение
«Фанцунь» (кит. 芳村, пиньин fāngcūn) — огромный чайный рынок в Гуанчжоу🇨🇳
Чай здесь можно встретить разный... Очень много подделок, особенно под известные чайные бренды и заводы. Много позиций крайне низкого качества. Большинство торговцев занимаются просто перепродажей чая, и не стесняются ставить высокие цены на достаточно сомнительный чай.
Фанцунь - просто очень интересный опыт. Наш стиль другой - мы едем к первоисточнику - к фермерам, чтобы выбрать лучшее из лучших прямо из первых рук.
На связи! 🤝
#фанцунь#китай#puerh#tea#china#russia#шу#пуэр#чай#travel#китай#азия#россия#чл#чайнаялиния#черныйчай#puer#black#blacktea#шупуэр#путешествия#шэн#шэнпуэр#желтыйчай#белыйчай#красныйчай#чайная#чайнаяцеремония#Юньнань
#chalineчай
#chalineпроисхождение
Обзор свежего поступления чая.
Чайная Линия. Интернет-магазин китайского чая
https://chaline.ru/
Весна - это время не только свежего чая, но и новинок в Чайной Линии. О них мы и поговорим в этом видео.
#puerh#tea#china#russia#ripe#шу#шэн#пуэр#puer#весна#натуральный#спелый#чай#чайная#китай#россия#чайнаялиния#ябао#чл#юндэ#юньнань#красный#красныйчай#мэнсуншайхун#бутоны#мэнсун#чайнаягора
#chalineчай
#chalineпроисхождение
Прессовка блинчика "Созерцание" марки "Чайная Линия" из нового сырья, с пуэрных деревьев "чайных гор"
#puerh#tea#china#russia#ripe#шу#пуэр#натуральный#спелый#чай#чайная#китай#россия#чайнаялиния#бодрость#китайскийчай#ритм#свежесть#тонус#энергия#чл#puer#созерцание#мэнсун#мэнхай#чайнаягора#хэкай#ферментациявкорзинах#puer#чаепитие#юньнань#прессовкачая#прессовка
#chalineчай
#chalineпроисхождение