Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🎂Telegram’s 11th Anniversary Update: New Features to Explore
Telegram has rolled out a special update for its 11th birthday, bringing several important new features.
⭐️Star Reactions:
You can now support your favorite creators by sending them Stars. Creators receive 100% of your donation, which they can convert to Toncoin or use for ads.
💫Star Subscriptions:
Admins can create invite links for channels that require a monthly subscription, paid in Stars.
🦸Super Channels:
Any channel can now become a Super Channel, allowing admins to post either as themselves or as other channels they manage.
@Viral_Today / #anniversary
Telegram Info Rayakan 9 Tahun Perjalanan
Telegram Info, platform informasi utama tentang Telegram, merayakan sembilan tahun perjalanannya sejak pertama kali diluncurkan. Channel asli berbahasa Rusia mulai aktif sembilan tahun lalu, diikuti cabang berbahasa Inggris yang hadir pada 20 Desember 2018. Awalnya menggunakan terjemahan mesin, kini kualitasnya semakin meningkat berkat keterlibatan penerjemah manusia.
Proyek Utama Telegram Info:
• TON Info: Channel khusus yang membahas pembaruan TON, diluncurkan lima tahun lalu (bahasa Inggris).
• Beta Info: Channel yang memberikan informasi tentang fitur-fitur baru Telegram sebelum resmi dirilis.
Dengan dukungan relawan dari berbagai negara, Telegram Info terus berkembang. Saat ini, lebih dari 40 channel dikelola dalam berbagai bahasa, seperti Rusia, Ukraina, Uzbek, Cina, Persia, Arab, Prancis, dan lainnya. Informasi lengkap tentang komunitas ini tersedia di TGStat.
Pencapaian yang Diraih:
Channel berbahasa Rusia telah melampaui 60.000 pelanggan, sementara channel berbahasa Inggris dan Prancis masing-masing mencatat lebih dari 20.000 pelanggan.
Tahun ini, Telegram Info juga telah menerbitkan sejumlah artikel FAQ di situs webnya, memberikan panduan dan informasi yang bermanfaat bagi pengguna.
Tim Telegram Info:
Tim inti Telegram Info adalah gabungan individu multinasional yang memiliki visi sama: menyebarkan informasi tentang Telegram dan membuat platform ini lebih mudah diakses. Masukan dari pengguna menjadi kunci dalam menghasilkan konten berkualitas tinggi.
Bagi Anda yang ingin berkontribusi, baik melalui pembuatan tool (alat), penulisan berita, desain sampul, atau menerjemahkan materi ke dalam bahasa lokal, Telegram Info membuka peluang kolaborasi. Anda dapat menghubungi kami melalui @infowritebot.
"Terima kasih atas dukungan Anda selama ini," ujar tim @tginfo dalam pernyataannya.
#anniversary@tginfoid