Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🚙💨 The Hummer EV has received a special edition in honor of Arnold Schwarzenegger! 🎉
Introducing the Arnold Edition, crafted by the talented team at Apocalypse 6x6 in Florida. 🌟 While they couldn't add a third pair of drive wheels due to the unique powertrain, they significantly enhanced the suspension, raising the ground clearance and fitting it with impressive 43-inch tires! 🏞️🔧
This pickup boasts stunning geometric accents and features a rugged "exoskeleton" made from durable metal tubing. 💪✨
Get ready to hit the road in style! 🚀
#HummerEV#ArnoldEdition#Apocalypse6x6#ElectricBeast#OffRoadAdventure#ArnoldSchwarzenegger#Auto
«Все меры предосторожности» vs «Красный полицейский».
Уолтеру Хиллу нравится, когда его главные герои портят антагонистам застолье.
#ВИДЕОТЕКА
#ExtremePrejudice
#RedHeat
#ArnoldSchwarzenegger
#NickNolte
#WalterHill
🎬📷 На съемочной площадке фильма «Вспомнить все».
В этот день ровно 35 лет назад легендарный фантастический боевик Пола Верхувена вышел на экраны.
#ВИДЕОТЕКА
#PaulVerhoeven
#ArnoldSchwarzenegger
#SharonStone
#TotalRecall
#ВспомнитьВсе
Множество постеров к легендарному фильму Уолтера Хилла «Красная жара». Отдельно отмечу тайский вариант, который выглядит так, словно нейросеть уже существовала в 1988 году😬
#ВИДЕОТЕКА
#RedHeat
#КраснаяЖара
#ArnoldSchwarzenegger
#АрнольдШварценеггер
#JamesBelushi
#ДжеймсБелуши
Множество разных постеров к нашему любимому фильму «Коммандос» — от оригинальных и альтернативных до экзотических.
#ВИДЕОТЕКА
#ArnoldSchwarzenegger
#АрнольдШварценеггер
#Commando
#Коммандо
#VHS
#MoviePoster
— Я не понимаю этот спорт.
— Ты и не должен понимать, это американский спорт. Лучше занимайся тем, что у тебя получается. Что там у вас — танцы вприсядку, дрессированные мишки для цирка…
— Мы в Советском Союзе играем в бейсбол.
— Да перестань, ну что ты, смеешься что ли? Вам ничего не светит! Это наш национальный досуг. И думать забудь! (после паузы) Представляю себе Мировой чемпионат с вашим участием.
— Мы бы победили.
#ВИДЕОТЕКА
#RedHeat
#КрасныйПолицейский
#JamesBelushi
#ДжеймсБелуши
#ArnoldSchwarzenegger
#АрнольдШварценеггер
#АндрейГаврилов
— Чего же вы не воспользовались регулярной армией? Мы вам зачем?
— Потому что какой-то идиот сказал, что вы лучше всех.
В этот день 38 лет назад в прокат вышел легендарный фантастический триллер Джона Мактирнана «Хищник».
#ВИДЕОТЕКА
#Predator
#Хищник
#ArnoldSchwarzenegger
#АрнольдШварценеггер
#CarlWeathers
#КарлУэзерс
#АндрейГаврилов
«Иногда дети подходят ко мне и спрашивают: «Эй, Арни, ты бог?» Обычно я смеюсь и говорю: «Неплохая попытка, но поищите его в другом месте».
Арнольду Шварценеггеру сегодня исполнилось 78 лет.
#ВИДЕОТЕКА
#ArnoldSchwarzenegger
#Commando
#RunningMan
#Predator
#RedHeat
#TotalRecall
#Terminator2JudgementDay
#LastActionHero
#EscapePlan
#Fubar
«Кто-то однажды сказал, что тебе нужно подождать 20 лет, прежде чем ты сможешь понять, хороший этот фильм или нет. Вероятно, это правда».
Сегодня исполнилось 84 года легендарному режиссёру, сценаристу и продюсеру Уолтеру Хиллу.
#ВИДЕОТЕКА
#WalterHill
#УолтерХилл
#BehindTheScenes
#StreetsOfFire
#УлицыВОгне
#Driver
#Водитель
#Warriors
#Воины
#SouthernComfort
#48Hrs
#48Часов
#RedHeat
#КраснаяЖара
#LastManStanding
#BulletToTheHead
#EddieMurphy
#NickNolte
#BruceWillis
#ArnoldSchwarzenegger
#SylvesterStallone