Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#conference
🇺🇿2024 йил 18 апрель куни Тошкент Кимё халқаро университети томонидан «Тил ва таржима масалалари» мавзусида халқаро илмий-амалий анжуман конференцияси ўтказилади.
—-
🇬🇧Kimyo International University in Tashkent plans to hold an international scientific-practical conference on "Issues of language and translation" on April 18, 2024.
—-
🇷🇺18 апреля 2024 года в Ташкентском международном университете Кимё планируется проведение международной научно-практической конференции на тему «Вопросы языка и перевода».
🔗🇺🇿🇬🇧🇷🇺Подробнее: https://kiut.uz/ru/novosti/til-va-tarzhima-masalalari/
🗓Семинар «Точность регистрации причин смерти: повседневные условия, кризисы и эпидемии»
📍 Пройдет 19-20 марта 2026 года в Барселоне, Испания.
⏰ Дедлайн для подачи: 10 декабря 2025 года.
#conference
🗓Ежегодная конференция Европейского консорциума социологических исследований 2026 года - «Неравенство по замыслу? Социальные разногласия в эпоху неопределенности»
📍 Пройдет 15-17 июня 2026 года в Тринити Колледж Дублин, Ирландия.
⏰ Дедлайн: 11 января 2026 года.
#conference
🗓Европейская конференция о населении (European Population Conference)
📍 Пройдет 3-6 июня 2026 года в Болонье, Италия.
⏰ Дедлайн для подачи: 1 ноября 2025 года.
#conference
🗓Семинар «Социально-экономическое неравенство в смертности с течением времени»
📍 Пройдет 27 февраля 2026 года в Эде, Нидерланды.
⏰ Дедлайн для подачи: 1 октября 2025 года.
#conference
Седьмая Совместная аспирантская конференция (1Joint Doctoral Conference) в Университете Бамберга
Пройдет 13-14 ноября 2025 года в Бамберге, Германия
Дедлайн для подачи: 16 мая 2025
Подробности: https://www.uni-bamberg.de/en/bagss/seventh-joint-doctoral-conference-2025/
#conference
12-ая ежегодная Международная Конференция в Демографии и Исследованиях Населения (12th Annual International Conference on Demography and Population Studies)
Пройдет 16-19 июня 2025 в Афинах, Греция.
Дедлайн для подачи абстрактов: 6 Мая 2025
Подробности:https://www.atiner.gr/demography
#conference
Воркшоп "Миграция и технологии разграничения" (Migration and Technologies of Bordering) пройдет 6 июня 2025 г. в Университете Суррея, Великобритания
Дедлайн подачи абстрактов: 7 марта 2025 г.
Подробнее: www.ias.surrey.ac.uk/event/migration-and-technologies-of-bordering/
#conference
Международная конференция «Демографический переход: Политические последствия тенденций рождаемости и старения» пройдет в Вильнюсе (Литва) 23-24 мая 2025 года
Дедлайн подачи абстракта: 3 марта 2025 года.
Подробности: cipe.umd.edu/conferences/TheDemographicTransition/Vilnius_Call%20for%20Papers_25_0124B.pdf
#conference
7 симпозиум HMD: Растущие различия в продолжительности жизни в странах с высоким доходом
Пройдет 9–10 октября 2025 года в Париже, Франция.
Дедлайн для подачи: 30 марта 2025 года
Подробности: https://www.mortality.org/File/GetDocument/Public/Docs/HMDsymposium2025-announcement.pdf
#conference
Симпозиум "Демографические и медицинские последствия насилия и вооруженных конфликтов" (Demographic and Health Consequences of Violence and Armed Conflict)
Пройдет 1–2 июля 2025 года в Институте демографических исследований Макса Планка (Росток, Германия)
Дедлайн: 14 марта 2025 года
Подробности: https://www.demogr.mpg.de/en/news_events_6123/calendar_1921/demographic_and_health_consequences_of_violence_and_armed_conflict_13967
#conference