Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
"Мы за вами наблюдаем, подпускаем поближе к себе и просто разбиваем. У вас нет шансов": командир ДШВ ВСУ обратился к российским призывникам. После просмотра этого видео у многих претендентов на пушечное мясо пропадет желание воевать
#StopWar
Eng Twitter | Rus Twitter | YouTube | TikTok | Прислать фото/видео
Нас не бомбят, но вот то, что мы сейчас переживаем, это, может быть, страшнее. Из нас делают пушечное мясо и нелюдей. Из нас выбивают душу – лидер ДДТ Юрий Шевчук
Детали: после того как музыкант публично осудил войну в Украине, группе отменяю концерты по всей стране. Тем не менее, Юрий Шевчук принял решение остаться в россии, потому что ДДТ "как никогда нужна родине".
Не даром Шевчук когда-то дал cвоей группе такое название. ДДТ, кто не знает, это инсектицид (в простонародье – дуст).
Мори тараканов, музыкант. Бледная кремлёвская моль тоже от ДДТ сдохнет
#StopWar
Viber | Twitter | YouTube | Прислать фото/видео
Сломать хребет путину. Чеченские добровольцы, воюющие на стороне Украины, доказывают, что чеченцы — это не только "кадыровцы" в TikTok
#stopwar
Viber | Twitter | YouTube | Прислать фото/видео
Основатель легендарной группы "Аквариум" Борис Гребенщиков ответил на предложение российского театрального режисера и продюсера Эдуарда Боякова выступить на Донбассе
Детали: "Если я могу поехать где-то сыграть, я в жизни не помню, чтобы я отказывался поехать.
Донбасс, насколько мне известно, это Украина. С точки зрения Боякова, это Россия.
А он не осведомлен, что это другое государство?
Ему это не сказали?
Если человек считает, что Португалия — это часть Воронежской области, я считаю, что это душевная болезнь.
И в Крыму, и в Донбассе я готов играть, если я туда въезжаю через Украину, частью которых пока эти места являются", — заявил Гребенщиков.
#StopWar
Viber | Twitter | YouTube | Прислать фото/видео
20 июня мир отмечает День беженцев
24 февраля, после вторжения на нашу землю орды путинских мразей, украинцы вынуждены были оставить свои дома и выехать, куда глаза глядят. За это время, по данным ООН на 16 июня, из Украины с начала войны выехало 7,704 млн человек. Вернулось (без данных Венгрии, РФ и Белоруссии) 2,559 млн.
Миллионы украинцев по всему миру видят во сне родные места, и мечтают при первой возможности вернуться домой.
Мы благодарим страны, приютившие наших граждан в час беды. Мы сделаем все, чтобы украинские беженцы вернулись на родину, воссоединились семьи, дети были в безопасности, а родители — с работой.
#StopWar
Viber | Twitter | YouTube | Прислать фото/видео
Наглядный пример экологической катастрофы в Мариуполе. В жару, на заваленной мусором улице проводится массовая эксгумация тел погибших местных жителей. Без соблюдения санитарных норм, без средств индивидуальной защиты, просто под открытым небом
#stopwar
Viber | Twitter | YouTube | Прислать фото/видео
Нет слов, чтобы описать ту невероятную человеческую трагедию и ужасные разрушения, которые мы увидели сегодня в Ирпене. Я призываю, чтобы все российские преступники были привлечены к ответственности — президент Румынии Клаус Йоханнис
#StopWar
Viber | Twitter | YouTube | Прислать фото/видео
В воскресенье, 27 марта, в 21:30 по времени Алматы из Варшавы на базе польского телеканала TVP Poland начнется международный благотворительный концерт-марафон в поддержку Украины Save Ukraine - #StopWar.
Приглашаем Вас присоединиться к просмотру на Facebook странице Посольства Украины в Казахстане - https://www.facebook.com/UkrEmbKz
На платформе YouTube эфир будет доступен пользователям со всего мира на каналах 1+1 и Atlas Festival.
Среди международных звезд, которые будут обращаться к мировому сообществу, зрителей будут ждать Fatboy Slim, Within Temptation, Bastille, Submotion Orchestra, Brainstorm, Beissoul & Einius, Salvador Sobral, Netta, Idina Menzel, IAMX, Gus Gus, Nino Katamadze и многие другие.
Украину же будут представлять более 20 артистов, среди которых: MONATIK, Тіна Кароль, THE HARDKISS, Океан Ельзи / Okean Elzy, Jamala | Джамала, Go-A Band, dakhabrakha , Один в каное, alyona alyona, Antytila / Антитіла, Pianoбой Дмитрий Шуров, Melovin, Artem Pivovarov, Alina Pash, Kadnay, LATEXFAUNA , Руслана, Dakh Daughters, TVORCHI, NK и другие.
Кроме этого, в рамках телемарафона ко многомиллионной аудитории с просьбой поддержать Украину будут обращаться волонтеры, общественные активисты, спортсмены и художники, которых знают и уважают во всем мире.
Ведущие мероприятия – украинцы Тимур Мирошниченко и Маша Ефросинина.
Подробная информация о марафоне на сайте: https://saveukraine.1plus1.ua/
RT @makhovam: “Путин развязал эту войну от нашего имени, но это не наша война, это война против нас, это война против будущего России…Украина сегодня воюет не только за свою страну, но и за нашу свободу», - Сергей Гуриев #russiansagainstwar#stopwar🇺🇦https://t.co/3N5rWcJJQa— Russian Democratic Society (@RuDemSocietyLDN) Jun 14, 2022
June 14, 2022 at 01:12PM
via Twitter https://twitter.com/RuDemSocietyLDN
ОБСЕ подтверждает, что рашисты насиловали и убивали детей в Украине
Детали: во втором отчете "Московского механизма" ОБСЕ подтверждены массовые убийства гражданского населения и случаи сексуального насилия, совершенные российскими военными в Украине.
"Масштабы зверств россии огромны. Например, миссия сослалась на "множество" сообщений о сексуальном насилии в отношении женщин и девочек со стороны российских вооруженных сил. В докладе упоминается дело 23-летней Карины Ершовой в Буче, которая была похищена, изнасилована и застрелена российскими войсками... В отчете также говорится, что годовалый мальчик подвергся сексуальному насилию, а 78-летняя женщина была изнасилована российскими военнослужащими", - сообщил посол США при ОБСЕ Майкл Карпентер.
Также в отчете задокументировано, что российские войска в Буче занимались систематическими грабежами, а награбленное продавали, например, в беларуси. Участники миссии утверждают, что события периода российской оккупации Бучи и Ирпеня являются "показательными примерами нарушений международного гуманитарного права" и "являют собой военные преступления".
#StopWar
#они_за_это_ответят
Eng Twitter | Rus Twitter | YouTube | TikTok | Прислать фото/видео
Нет ничего более циничного, чем то, что приспешники путина говорят, что россия готова к мирным переговорам — Дмитрий Кулеба
"Эту «готовность» мы слышим и видим каждый день: артиллерийские удары, ракетный террор против мирного населения, массовые преступления. россия остается сосредоточенной на войне, все остальное – только дымовой занавес", — заявил глава МИД Украины.
#официально
#StopWar
Eng Twitter | Rus Twitter | YouTube | TikTok | Прислать фото/видео
Pendant que la cargaison de l’aide humanitaire reste à la douane, les personnes âgées de Lougansk attendent leurs médicaments et produits d’hygiène. Nous avons décidé de ne plus attendre et acheter à nouveau certains médicaments tant attendus.
🕊️Merci à Nikolai, notre bénévole sur place d’avoir pris le temps d’acheter et trier de l’aide. Il va la livrer aujourd’hui.
🙏🏻Malheureusement, une personne n’a pas pu recevoir ce qu’elle demandait et a quitté ce monde il y a quelques jours.
Message de Nikolai :
Aujourd'hui je vais aux funérailles chez mon camarade, sa mère est décédée. Tu te souviens j’avais fais une demande pour des couches de la taille 2 adulte et des lingettes ? Tu peux oublier, plus besoin…
#sosdonbass#aidehumanitaire#stopwar#donbass