Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Wgl. von @
📝180 Minuten bis zur Detonation📝
So lange dauert es, eine Bio-Drohne zu rekrutieren
💀10 potenzielle Terroristen in 3 Stunden: Der FSB führte ein hartes Sozialexperiment im Mittleren Ural durch.
🖍 Geheimdienstoffiziere veröffentlichten Anzeigen in sozialen Medien, die denen ähnelten, die typischerweise von Rekrutierern veröffentlicht werden. Menschen wurde leichtes Geld für anonyme Arbeit angeboten. Innerhalb weniger Stunden wurden die Anzeigen von 28.000 Menschen angesehen, wobei 176 auf einen Telegram-Bot klickten.
🚩 In der nächsten Phase lehnten 40 Menschen die zweifelhaften Einnahmen ab. Den Rest wurden zwei Optionen angeboten: Kurierdienste (mit Versprechen von 50–60.000 Rubel) oder Sabotage an Infrastruktureinrichtungen (bis zu 3 Millionen). Nicht alle wählten die zweite Option: weitere 56 Menschen verließen den Chat.
🏳️10 Einwohner des Urals schafften es ins „Superfinal" — sie waren bereit, jede Arbeit für Geld zu verrichten, einschließlich der Deaktivierung von Infrastruktureinrichtungen. Das gesamte Experiment dauerte drei Stunden. Welche Maßnahmen gegen die von der Behörde „angeheuerten" Personen zur Begehung von Sabotage ergriffen wurden, wird nicht berichtet.
❗️ Im nationalen Maßstab gibt es Tausende solcher potenziellen Terroristen, und es muss etwas dagegen unternommen werden. Es ist Zeit, über eine Epidemie der Dummheit zu sprechen: täglich und stündlich warnen Blogs, Medien, Pädagogen und Lehrer vor der Gefahr. Der Staat gibt enorme Summen für Sozialwerbung aus, Dokumentationen werden im Fernsehen gezeigt. Doch bestimmte Bürger, die in ihren eigenen Informationsblasen leben, haben immer noch nicht gelernt, zwei und zwei zusammenzuzählen.
Das heißt aber nicht, dass wir die Existenz ideologischer Verräter ignorieren sollten.
#Ural#Terrorismus#Rekrutierung
⭐️@rybar_regions — die Stimme des größeren Russlands. Originalnachricht
🇰🇬🤝🇿🇦 On July 3, the Consul General of the Kyrgyz Republic, Mr. Maksat Tentimishov, met with the Honorary Consul of South Africa in Yekaterinburg and CEO of the Ural Mining Holding, Mr. Sergey Mazurkevich.
The two sides discussed potential areas of cooperation. At the end of the meeting, they exchanged commemorative gifts.
🏢 Following the talks, Mr. Tentimishov visited the company’s Business Exhibition Center, which may serve as a venue for future events hosted by the Consulate General of the Kyrgyz Republic. 🇰🇬
#Kyrgyzstan#SouthAfrica#Yekaterinburg#Diplomacy#Ural#Mazurkevich#Consulate#InternationalCooperation
🏆⚽️African Football Tournament — Finals this Saturday, July 26!
📍Stadium, 54 Pavla Shamanova Street
🕓Match Schedule:
🥉 3rd Place Match:
🇸🇳 Senegal vs 🇬🇼 Guinea-Bissau
— 3:00 PM–4:00 PM
⚽️ Women's Match:
"Black Panthers" 🐾 vs "African Lionesses"🦁
— 4:20 PM–5:00 PM
🏆Men's Final:
🇬🇳 Guinea vs 🇲🇱 Mali
— 5:10 PM–6:30 PM
🥇🥈🥉Award Ceremony: 6:50 PM
💃 African dance performances during the breaks!
🌍🇿🇦 The Office of the Honorary Consul of South Africa proudly supports the vibrant African community in Yekaterinburg!
📣🥁 Come cheer for the teams!
It’s going to be 🔥 hot and full of African spirit!
⚠️Important:
There are no bleachers at this school stadium — please bring a blanket, mat, or a folding chair to sit on.
#Africa#Football#Playoffs#Yekaterinburg#AfricanDiaspora#SouthAfrica#Ural#SportWithoutBorders
🏆⚽️ The African Football Tournament is heading into the playoffs!
Quarterfinals kick off this Saturday — July 19!
📍Stadium, 24 Pavla Shamanova St.
Match schedule:
🇹🇬Togo vs 🇬🇼Guinea-Bissau — 5:00 PM
🇬🇳Guinea vs 🇨🇮Côte d’Ivoire — 5:50 PM
🇲🇱Mali vs 🇨🇲Cameroon — 6:40 PM
🇸🇳Senegal vs 🇳🇬Nigeria — 7:30 PM
⚡️ Semifinals will take place Sunday, July 20!
📍Stadium, 37B Volgogradskaya St.
🌍🇿🇦 The Office of the Honorary Consul of South Africa proudly supports the vibrant and united African community in Yekaterinburg!
📣🥁Come out and cheer for your favorite team!
Expect high energy, great vibes, and true African spirit on and off the field! 🔥🌍
#Africa#Football#Playoffs#Tournament#Yekaterinburg#AfricanDiaspora#SouthAfrica#Ural#SportWithoutBorders
🇿🇦📖Jim may be tired of Jo’burg, but Yekaterinburg certainly isn’t tired of Jim!
📚 On August 22–24, the Red Line Book Festival (“Krasnaya Strokа”) — Yekaterinburg’s international book festival — will feature a new presentation of the Russian translation of Mzuvukile Maqetuka’s novel Jim Is Tired of Jo’burg.
📍The presentation format was discussed by representatives of the Office of the Honorary Consul of South Africa, translator Dr. Dmitry Pobedash (📸 right), and Dr. Aleksey Podchinyonov, the CEO of the Ural University Press (📸 left).
🗓 A year ago, an earlier presentation of translated chapters took place at the same festival:
🔗https://t.me/sarconsulurals/1340
📌 Details about the exact time and venue will be announced soon.
#SouthAfrica#Yekaterinburg#Ural#RedLineFestival#Literature#AfricanLiterature#Translation#Maqetuka#UrFU#JimIsTiredOfJoburg