Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Les révoltes populaires en #Martinique🇲🇶 ne faiblissent pas. Si les médias en France n’étaient pas au service d’un système colonial, ils en parleraient tous, mais vous observerez un silence total : aucun mot, aucune information, ni sur les grandes chaînes propagandistes du régime Macron comme BFM, CNews ou TF1. Quand ils se décident à évoquer la situation, c’est pour dépeindre les Martiniquais, les Nègres marrons, comme des sauvages et violents, attaquant de "pauvres" forces coloniales déployées pour mater la révolte. Ce n’est plus du journalisme, mais une idéologie au service de la colonisation d’État.
Pendant ce temps, Le nouveau ministre de l’Intérieur, @MichelBarnier ( #MichelBarnier ), et son gouvernement de bras cassés d’extrême droite préfèrent fanfaronner sur les médias en accusant de tous les maux les immigrés et la #Russie, au lieu d’écouter les revendications des populations opprimées dans les colonies d’outre-mer qui aspirent à l’autonomie. Voilà ce qu’il se passe quand un pays est dirigé par une élite politique prostituée, soumise à ses maîtres américains.
Tout mon soutien au peuple martiniquais. La seule manière d’obtenir l’autonomie et l’autodétermination "Koupe Tet Boule Kay " en démantelant complètement le système colonial et la plantation pour accéder à la liberté. Ne luttez pas juste pour que les colons békés baissent le prix du Nutella, mais pour être libres et souverains. Trop, c’est trop, ça suffit !! FOS 💪🏾✊🏾#EB
@egountchibehanzinTV
Selene Saint-Aime — Potomitan (Komos, 2022)
#afro_jazz#jazz#gwo_ka#Martinique#France
Второй альбом французской контрабасистки Селены Сен-Эме Potomitan вдохновлен её карибским наследием и пребыванием во время пандемии на Мартинике, французском острове в Карибском море. Название альбома, означающее центральный столб в храмах гаитянского вуду, символизирует роль матери в поддержании устойчивости семьи. Таким названием Селена, видимо, хотела подчеркнуть, что в тяжелые времена она находит опору в своей родной культуре.
Музыка альбома строится вокруг контрабаса, вокала Селены, и разнообразной перкуссии. В частности, на протяжении всего альбома звучит большой барабан «гво ка». В некоторых треках можно услышать виолончель, саксофон и тромбон.
Альбом открывает песня Arawak Uhuru, что на суахили значит «свобода аравакам». Она посвящена одному из народов Мартиники, который попал на остров в I веке нашей эры. Еще на альбоме можно найти кавер на The BirdЧарли Паркера и тему из оркестровой сюиты «Пеллеас и Мелизанда»Яна Сибелиуса, которые совсем по-новому открываются в такой необычной аранжировке.
Spotify | AppleMusic | Bandcamp
🌴😡 Révolte en Outre-Mer 😡🌴
Les habitants des colonies de la Guadeloupe, de la Martinique et de la Guyane, exploitées par la France esclavagiste, dénoncent avec force la cherté de la vie dans leurs territoires d'Outre-Mer. Les prix exorbitants des produits de première nécessité et des services essentiels pèsent lourdement sur les familles qui en ont assez d'être traitées comme du bétail par les descendants des colons, protégés par le gouvernement colonialiste français.
Il est grand temps que leurs voix en colère soient entendues et que des actions concrètes soient prises pour rendre la vie plus accessible à tous les ultramarins. Si l'État français persiste dans son silence et sa surdité face à ces revendications légitimes, ces territoires se soulèveront et mèneront une révolution populaire à l'instar du peuple autochtone de la Nouvelle-Calédonie.
La France ne peut plus continuer à ignorer, piller et exploiter ses colonies d'outre-mer sans conséquences.
Nous exprimons notre soutien indéfectible à ces habitants qui en ont assez d'être colonisés et exploités. 🤝🏽✊🏾
#RévolteOutreMer#ColonialismeFrançais#ChertéDeLaVie#SolidaritéUltras
#Guadeloupe#Martinique#Guyane#JusticeSociale#Solidarite
@egountchibehanzinTV
Various Artists – Digital Zandoli 2 (Heavenly Sweetness, 2017)
#zouk#disco#synth#funk#electro#Haiti#Saint_Lucia#Martinique#Guadeloupe#West_Indies#France
Продолжаем исследовать зук и фанк из французской Вест-Индии. Эта часть сборника состоит из записей, выпущенных в конце 80-х и начале 90-х, в период расцвета зука и синти-фанка.
Spotify | AppleMusic | Bandcamp | VK
Various Artists — Digital Zandoli (Heavenly Sweetness, 2016)
#zouk#proto_zouk#disco#soul#boogie#funk#Haiti#Saint_Lucia#Martinique#Guadeloupe#West_Indies#France
Зук — стиль танцевальной музыки, сложившийся в первой половине 80-х годов на французских островах Мартиника, Гаити, Сент-Люсия и Гваделупа. Этот сборник состоит из треков, записанных до резкого роста популярности зука в 80-х. Во многие альбомы раннего периода развития этого стиля часто входили треки, которые относят к «прото-зуку», «фанк-зуку» или «буги-зуку», что подчеркивает процесс активного смешения жанров. Но эти треки так и остались неизвестными широкой публике, потому что на радио в основном ставили только менее экспериментальные «хиты».
Spotify | AppleMusic | Bandcamp | VK