Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🪙Tomarket Early Adopters Reward
After passing through many phases, Tomarket is getting closer to the long-awaited listing day that all Tomarket users have been looking forward. You still have plenty of time to earn more TOMA through several methods.
Tomarket also appreciates the early adopters who have supported this project from the beginning until now.
🥇Tier 1: Joined before July 14, 2024 - Earn an extra 20% TOMA based on your holdings during the TGE snapshot.
🥈Tier 2: Joined before July 31, 2024 - Earn an extra 15% TOMA.
🥉 Tier 3: Joined before August 31, 2024 - Earn an extra 10% TOMA.
😄What are you waiting for?
Log in now and claim your reward!
Listing Date: December 20
#Tomarket#TOMA
Listing $TOMA is coming!
December 20🪙
Celebrate the exclusive Giveaway 💰 — use the link below to open a chest and win up to 🪙1,000 TOMA! 🎁
Don't miss this chance to grab more TOMA before the big listing! 🚀✨
#Giveaway#TOMA
#Molise
Indagati per abuso di ufficio il presidente della Regione Donato #Toma e alcuni suoi assessori. I fatti, avvenuti tra il 2020 e il 2021, ruotano attorno all'incarico di commissario straordinario del Consorzio per lo sviluppo industriale di Campobasso-Bojano
@UltimoraPolitics
Fewer than 50,000 Golden Tickets left!
Already part of the club? 🪙 If you're farming $TOMA, don’t miss out — grab your lucky ticket for just ⭐️250 Telegram Stars before the snapshot on December 18.
Mark your calendar: listing goes live on December 20!
#Tomarket#TOMA#Airdrop
💎TON check-ins are available in Tomarket🍅
Now you can get as much Tomarket 🌟 Stars as you wish without playing machine and get the highest level of League easily!
Don't miss this opportunity!😄
#Toma#TON#Airdrop#Bitget
🍅 $TOMA's official listing date: 20th December
It's official. Early and active players will be happy.
And remember, your level will be the key.
Check your TOMA balance!😄
#TOMA#Tomarket#Airdrop#listing
#Italia
❗️ Perde forza l'appello dei governatori a Draghi: dopo il no dei 3 governatori di #FdI|ECR, si sfilano anche i forzisti #Cirio, #Bardi, #Toma e #Occhiuto.
@UltimoraPolitics
🍅Pre-deposit 🪙$TOMA on CEX and $200,000 bonus
#Tomarket is preparing to enter two leading exchanges — #Gateio and #Bitget!
💰$TOMA Listing Confirmed on Gate.io:
Starting from December 20, 2024 at 12:00 PM (UTC), $TOMA trading will start on the Gate.io exchange.
💱$TOMA output is open on Bitget:
Pre-deposit for $TOMA opens on Bitget exchange on December 13th at 8:00 UTC. Token holders can deposit their assets without gas fees and get a chance to earn up to $100 in $TOMA tokens from a total prize pool of $200,000 !
The promotion periodis from December 13 to 18 — act quickly!✈️
Participation in the promotion is carried out on a first come, first served (FCFS) basis, so make sure to contribute your $TOMA and become one of the lucky ones who receive additional rewards!
🪙Go to the app, open the Airdrop tab and choose the method of sending tokens.
ℹ️ To withdraw you will need your TOMA address on the Bitget exchange: Bitget\TOMA\Deposit (Aptos network) + your UID
#Tomarket#TOMA#Gateio#Bitget#CryptoNews#Airdrop
⏺PixelSwap Farming Pool in🍅Tomarket
#PixelSwap recently partnered with the well-known social platform Tomarket, which allows Web2 users to easily transition to Web3 through games, earnings and trading.
There is a new farming pool available in 🍅#Tomarket app where you can get a share of $PIX depending on how much $TOMA you contribute to the pool. The pool starts tomorrow at 10:00 UTC🕓
✖️Use TOMA to get PIX!
#TOMA#PIX#earn#farming