Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🔥 Breaking News: We just burned over 1,000,000 $SING tokens!
This move reinforces our commitment to boosting $SING's valuealongside the groundbreaking innovations we're building for the SingSing community. 🚀
🔮 Here's a sneak peek: Revolutionary AI coming to SingSing will forever change the face of gaming. Stay tuned!
Check out burning details: https://bscscan.com/tx/0x46ec5084869ae42ca73c1769deaba4fa952c5f790338be54ad415102b3a05c51
#SingSingAI#TokenBurn#NextGenGaming#BlockchainInnovation
🤑Exciting News from Mappasaurus!
🤑
🔥 We are thrilled to announce a strategic partnership with #Bitgert, a leader in blockchain efficiency!
🦖#Mappasaurus is revolutionizing the mapping landscape with AI-driven and decentralized technology. Partnering with Bitgert enhances our mission to provide innovative, real-time mapping solutions with a focus on accessibility and privacy.
💸#Bitgert stands out with its low gas fee blockchain, perfectly aligning with our goals to enhance scalability and cost efficiency for our users.
💯#BlockchainInnovation#MappingRevolution#CryptoCommunity
Evolve Token Sale – Limited Time Offer!
The future of tokenized assets, private lending pools, and global trading is here! 🌍💰
🔥 Exclusive Offer: 100% Deposit Match for 48 Hours! 🔥
✅ Buy with BNB or SOL
✅ Instantly double your tokens!
✅ Secure your spot in the next wave of DeFi innovation!
⏳ Time is running out! Don’t miss this high-growth opportunity!
👉 Buy Now: buy.evolvetoken.io
#EvolveToken#CryptoSale#DeFiRevolution#BlockchainInnovation
🔒🌐 Commodity Proof of Reserves - Trusted, Public, and Secure Storage
We are thrilled to unveil Commodity Proof of Reserves, an innovative solution that ensures unwavering trust, transparency, and security in commodity storage.
Through our strategic partnership with a globally renowned mining company, in collaboration with SLEX, we guarantee a steady supply of liquidity and a secure trading environment. Our collaboration ets the highest standards of reliability and integrity.
Our mining operations cover multiple cities in the Democratic Republic of Congo (DRC): Lubumbashi, Kakanda, and Likasi. This extensive network taps into abundant resources, providing an impressive $3 billion USD supply 📝
We understand the critical importance of trustworthy storage and protection in today's dynamic market. Through advanced blockchain technology, we've created a system that ensures complete transparency and validation of reserves. This approach instills confidence in our valued clients and partners.
Commodity Proof of Reserves is a testament to our commitment to innovation, security, and reliability. With our trusted partner and vast resources, we aim to reshape commodity trading, setting new standards for excellence 📌
👉🏻 Join us Now and Stay Tuned For Updates and Developments: Slex.io
#CommodityProofOfReserves#TrustedStorage#SecureTrading#BlockchainInnovation
⚡️𝗣𝗮𝗿𝘁𝗻𝗲𝗿𝘀𝗵𝗶𝗽 𝗔𝗻𝗻𝗼𝘂𝗻𝗰𝗲𝗺𝗲𝗻𝘁 ⚡️
ᶜʳʸᵖᵗᵒ ¹⁰⁰ˣ ⱽ ᴹᵃʳˢᵒ ᵒⁿ ᴱᵀᴴ ⁽ ᴮᵃˢᵉ ⁾🔹
Marso Token: The Next BIG Thing in Crypto is Here! 🔥🔥🔥
🚀 The new BIG thing in the crypto market is here: Marso Token is launching, and it’s coming in HOT! Ready to soar, Marso Token is set to redefine possibilities in the crypto universe. 🫡🫡🫡 Join our journey, follow all our socials, stay tuned for the latest updates, and don’t miss your chance to invest early! ⭐️⭐️⭐️⭐️⭐️
🤑🤑🤑 Get in on the action now—exclusively on BitMart! Let’s make history together with Marso Token. 🥰🥰🥰
🤩🤩🤩🤩 Join the Marso community for exciting news, contests, and more. This is only the beginning, and you’re invited to be part of it. 🤟🤟🤟
✅Website: marso.tech
✅Telegram: https://t.me/MarsoUniverseCommunity
🚀X: https://x.com/marsouniverse?s=21
📱Instagram: https://www.instagram.com/marsouniverse?igsh=ZjR4cW5vZXVpdmMy&utm_source=qr
#MarsoToken#CryptoLaunch#BiggestCrypto#InvestNow#CryptoCommunity#Bitmart#MarsoUniverse#AltcoinSeason#CryptoFuture#BlockchainInnovation#EarlyInvestors#CryptoBuzz#NextBigCoin#FutureOfFinance#MarsoToTheMoon