Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Jovan Radivojev — Just Like That: Serbian Gajdaš (Canary Records, 2024)
#traditional#serbian#bagpipe#gadja#balkan#Serbia
В начале XX века, из-за того, что население США на 14% состояло из иммигрантов, крупные американские звукозаписывающие компании, такие как Columbia и Victor, начали выпускать пластинки на иностранных языках. К 1913 году Columbia выпустила тысячи таких записей, зафиксировав таким образом языковое и культурное разнообразие США того времени.
Этот альбом включает композиции с двух редких пластинок сербского народного певца Йована Радивоева, выпущенных Columbia Records в 1913 году. На них Радивоев исполняет традиционные сербские песни под аккомпанемент гайда (гајде) — балканской волынки, традиционного инструмента пастухов и участников обрядов.
Многие подобные записи с сербской народной музыкой утрачены из-за исторических потрясений, произошедших в Европе, включая две мировые войны. Однако эти записи сохранились благодаря тому, что были выпущены в США. Они дают редкое представление о жизни и музыкальной культуре сербских иммигрантов в начале XX века.
🔗Bandcamp
Gordan — Gordan (Glitterbeat Records, 2024)
#traditional#ambient#krautrock#barabinske#becarci#ojkace#serbian#Serbia#Germany#Austria
Gordan — совместный проект исследовательницы балканской традиционной музыки Светланы Спаич, австрийского перкуссиониста Энди Штехера и немецкого электронного музыканта Гвидо Мёбиуса. Второй альбом коллектива посвящён устным поэтическим формам, бытовавшим в различных регионах бывшей Югославии.
Поэтическая основа альбома — народное стихосложение, характерное для балканских стилей барабинске, бечарци и ойкачe. В отличие от старинных эпических песен, в которых также используется «десетерац» — десятисложная стихотворная форма с цезурой после четвёртого слога, — эти стили обращаются не к героике, а к повседневным темам. Так, Barabinska посвящена вольному, бродяжническому образу жизни, а Krajiška kontra — конфликтам сербов с представителями австрийской власти времён Военной Краины — пограничной территории Габсбургской монархии, созданной для защиты от Османской империи.
Композиция с длинным названием How A Mountain Fairy Divided The Two Jakšić Brothers представляет собой реконструированную бугарштицу — стиль эпической песни, распространённой среди южных славян в XV–XVIII веках. В отличие от других использованных на альбоме форм, бугарштица больше не встречается в живой традиции. Возможно, это первое появление этого стиля в контексте современной популярной музыки.
Композиция Selo Moje была создана Светланой Спаич во время одной из её поездок в село Жегар в Далмации. В работе над песней приняли участие её наставники из этой деревни — на тот момент им было почти девяносто. Финальная версия представляет собой звуковой коллаж, основанный на воспоминаниях Спаич об этой поездке.
Песня Šara основана на традиционном сюжете о трёх пастухах, погибших в горах Шара под лавиной. В интерпретации Gordan она служит отсылкой к репертуару Боры Спужича Кваке — необычного представитель популярной фолк-сцены социалистической Югославии. Именно его версия этой песни приобрела популярность в 1970-х и её стали исполнять в кафанах по всей стране.
Ещё одна песня, Ne spominji oči plave, отсылает к так называемому «андеграунду» поздней Югославии — массовой культуре, которая продавалась миллионными тиражами, но оставалась вне официального канона. Речь идёт о лейблеJužni vetar, специализировавшемся на популярной фолк-музыке с элементами восточной мелодики и синтезаторного звучания. Несмотря на коммерческий успех, эта продукция официально классифицировалась как «шунд» — «низкопробная» или «вредная» продукция. Такие релизы облагались дополнительным налогом, однако именно они составляли значительную часть реального музыкального ландшафта того времени.
Композиция The Bell is Buzzing основана на традиционной любовной песне, в которой рассказ ведется от лица девушки, влюблённой в пастуха. В одних версиях она остаётся с ним, в других — находит другого. В интерпретации Gordan она делает ему предложение.
Завершающая композиция O Nikola посвящена Николе Тесле. Её текст основан на стихотворении, которое Светлана Спаич записала в конце 90-х со слов Милана Билбийи — жителя села Чиркин-Поле на северо-западе Боснии. В песне перечислены изобретения Теслы, затронуты эпизоды его биографии и передано ощущение меланхолии и одиночества, сопровождавших жизнь учёного.
🔗Spotify | AppleMusic | Bandcamp | Telegram