Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2093, while of corporate bonds totaled 30 as of 18.11.2022. The aggregate volume of issued shares totaled UZS 165 622.4 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2092, while of corporate bonds totaled 30 as of 11.11.2022. The aggregate volume of issued shares totaled UZS 165 616.4 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2091, while of corporate bonds totaled 30 as of 04.11.2022. The aggregate volume of issued shares totaled UZS 165 616.2 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2090, while of corporate bonds totaled 30 as of 28.10.2022. The aggregate volume of issued shares totaled UZS 165 616.2 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2085, while of corporate bonds totaled 30 as of 21.10.2022. The aggregate volume of issued shares totaled UZS 164 689.5 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2084, while of corporate bonds totaled 30 as of 14.10.2022. The aggregate volume of issued shares totaled UZS 164 619.5 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2083, while of corporate bonds totaled 30 as of 07.10.2022. The aggregate volume of issued shares totaled UZS 164 609.8 billion, while of corporate bonds totaled UZS 1 011.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2082, while of corporate bonds totaled 29 as of 30.09.2022. The aggregate volume of issued shares totaled UZS 164 597.6 billion, while of corporate bonds totaled UZS 1006.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2081, while of corporate bonds totaled 29 as of 23.09.2022. The aggregate volume of issued shares totaled UZS 164 397.9 billion, while of corporate bonds totaled UZS 1006.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2079, while of corporate bonds totaled 27 as of 16.09.2022. The aggregate volume of issued shares totaled UZS 163 200.5 billion, while of corporate bonds totaled UZS 996.4 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2078, while of corporate bonds totaled 26 as of 09.09.2022. The aggregate volume of issued shares totaled UZS 163 200.4 billion, while of corporate bonds totaled UZS 993.9 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube
End-of-week depositary statistics
OVERVIEW OF SECURITIES ISSUES SAFEKEPT BY THE CENTRAL SECURITIES DEPOSITORY
The aggregate number of shares issues totaled 2077, while of corporate bonds totaled 25 as of 26 August 2022. The aggregate volume of issued shares totaled UZS 163 190.4 billion, while of corporate bonds totaled UZS 983.9 billion.
#issues#shares#bonds#infographics#statistics
deponet.uz|Tg|Fb|Inst|Youtube