Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Понимание искусственного интеллекта и современных технологий помогает нам адаптироваться и использовать новые возможности. Именно поэтому продакт-оунеры финтеха и геоаналитики VEON AdTech Ирина Пересыпкина и Светлана Ломп запустили подкаст «Ящик с усами», посвященный искусственному интеллекту и технологиям в различных областях.
В подкасте они делятся своими знаниями и опытом, обсуждают актуальные темы и приглашают экспертов для глубоких и интересных бесед. Героем первого выпуска стал Шахзод Дадабаев, дата-аналитик финтех-команды. Он поделился мыслями на тему развития ИИ, обсудил Европейскую организацию по ядерным исследованиям и рассказал о работе в проекте по созданию адронного коллайдера.
👉 Подкаст на русском языке доступен на платформах:
· Apple — https://apple.co/4fa5X7q
· Yandex Music — https://bit.ly/3BL6Pku
· Spotify — https://spoti.fi/4f9ntZz
Слушайте, комментируйте и делитесь!
#VEONAdTech#IT#женщинывIT#инновации#innovations#womeninIT
Мы подчеркиваем важность девушек в IT и поддержали эту тему на ICT Week.
В рамках выступлений на тему цифровизации и информационных технологий, представитель VEON AdTech Моника Авакьян рассказала о растущей значимости девушек в IT. Преодоление стереотипов и предубеждений, непредвзятое менторство и поддержка, а также инклюзивность играют существенную роль в гендерном равенстве технологической индустрии.
"Расширение прав и возможностей девушек в IT-индустрии является не только вопросом социальной справедливости, но и стратегическим императивом", — подчеркнула Моника Авакьян.
Команда VEON AdTech считает, что успех не знает гендерных границ, а сочетание технических знаний и навыков работы с людьми может привести к выдающимся достижениям!
– – –
We always emphasize the importance of ladies in IT and therefore supported this topic at ICT Week.
As part of the presentations on digitization and information technology, VEON AdTech representative Monica Avakian spoke about the growing significance of young female professionals in IT. Overcoming stereotypes and biases, inclusivity, open-minded mentorship, and support play a significant role in achieving gender equality in the technology industry.
"Expanding the rights and opportunities for girls in the IT industry is not only a matter of social justice but also a strategic imperative," emphasized Monica Avakian.
The VEON AdTech team believes that success knows no gender boundaries. The combination of technical knowledge and people skills can lead to outstanding achievements!
#VEONAdTech#IT#innovations#womeninIT#career#ICTWeek2023
✨ Арзу Азизова, продукт-оунер таксономии компании VEON AdTech, номинирована на престижную премию «За технологическую дипломатию» в сообществе Women in Tech!
В течение своей карьеры Арзу демонстрировала исключительное лидерство, профессионализм и стремление к совершенству. Её работа в области таксономии и управления данными значительно улучшила рабочие процессы.
Мы гордимся тем, что в нашей команде есть такие талантливые и целеустремлённые специалисты. Такие успехи вдохновляют нас на новые достижения и показывают, что нет ничего невозможного для тех, кто стремится к своей цели!
#VEONAdTech#IT#женщинывIT#карьера#инновации#innovations#womeninIT#career
В последние годы мы наблюдаем важный тренд: все больше и больше талантливых женщин выбирают карьеру в сфере информационных технологий.
Любопытный факт: исследование GitHub показало, что код, написанный женщиной, одобряется чаще (78,6%), чем код, написанный мужчиной (74,6%), а компании с более равномерным распределением половых групп в командах имеют больше шансов на инновации и успех.
В качестве яркого примера представляем вам героиню нашей новой статьи о женщинах в STEM – Мунису Рахимжонову.
Статья «Женщины в STEM – пример Узбекистана» доступна по ссылке https://xabar.uz/ru/0ud9.
– – –
In recent years, we have seen an important trend: more and more talented women are choosing career in the field of information technology.
A curious fact: GitHub study showed that code written by a woman is approved more often (78.6%) than code written by a man (74.6%), and companies with more equal distribution of gender groups in teams have a better chance of innovation and success.
As a vivid example, we present to you the heroine of our new article about women in STEM – Munisa Rakhimzhonova.
The article «Uzbekistan Women in STEM» is available at the following link http://uzdaily.com/en/post/82609.
#VEONAdTech#IT#женщинывIT#карьера#инновации#innovations#womeninIT#career