Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
👣#Ohio : des observations relancent la chasse au Bigfoot
Une série de signalements en mars dans le comté de Portage, Ohio, a relancé le débat sur l’existence du Bigfoot : des témoins décrivent des créatures poilues de plus de deux mètres dans les bois près de la rivière Mahoning. Pour les passionnés, ces traces et témoignages démontreraient la présence d’un groupe de yétis en mouvement après l’hiver, tandis que les sceptiques soulignent que, malgré des décennies de recherches, notamment à l’aide de technologies avancées, aucune preuve scientifique solide de l’existence de cette créature n’a pu être apportée.
RT en français • Osez questionner !
#Elezioni#USA#Ohio#Referendum
Con il 45% dei voti scrutinati di cui quasi il 60% contrari, il referendum che avrebbe innalzato la soglia per approvare modifiche costituzionali è stato rigettato.
Il referendum è stato ampiamente sostenuto dai Repubblicani dell'Ohio.
@OsservatorioEsteri
WARNING: GRAPHIC CONTENT – Ohio police accused of racial profiling, brutality
A Black paraplegic man has accused the Dayton Police Department of racially profiling him and of brutality after officers stopped his car and dragged him out by his hair onto the road after hearing the man could not use his legs.
#News#Reuters#Ohio#Police
Subscribe: http://smarturl.it/reuterssubscribe
Reuters brings you the latest business, finance and breaking news video from around the globe. Our reputation for accuracy and impartiality is unparalleled.
Get the latest news on: http://reuters.com/
Follow Reuters on Facebook: https://www.facebook.com/Reuters
Follow Reuters on Twitter: https://twitter.com/Reuters
Follow Reuters on Instagram: https://www.instagram.com/reuters/?hl=en
➖@reutersworldchannel➖
🇺🇸☄️ Une météorite de grande taille a explosé dans le ciel au-dessus de l’État américain de l’Ohio, avec une puissance équivalente à 250 tonnes de TNT, a rapporté la chaîne NBC News.
#météorite#ohio#explosion
🚨ALARMING TREND: Dozens of kids vanish in Cleveland area 🚨
💔 Over 1,000 children missing this year in Ohio
🌍 Corruption, under-resourced law enforcement to blame?
😱 Trafficking, gangs, drugs - what's happening to these kids?
🔍 Local conditions hinder reporting and search efforts
👀 We need YOUR help! 11.7 million eyes can make a difference
❗️Reporting deficiencies must be addressed
💪 State and University of Toledo working on improved data system
🙏 Prayers for the missing children and worried families 🙏
#MissingChildren#Ohio#FindOurKids
https://www.foxnews.com/us/1000-minors-reported-missing-cleveland-ohio-this-year-including-almost-50-kids-this-month
Subscribe to @BadVolfNews
Various Artists — Industrial Strength Bluegrass (Folkways Records, 2021)
#traditional#bluegrass#banjo#fiddle#mandolin#appalachian#Ohio#United_States
Industrial Strength Bluegrass рассказывает о том, как выходцы из Аппалачей, переехавшие на юго-запад Огайо в середине XX века, принести с собой музыку блюграсс и вплели её в ритм индустриального города. Песни альбома отражают жизнь мигрантов, проходящую между заводскими цехами и субботними вечерами с банджо; передают ностальгию по родным горам; показывают, как блюграсс адаптировался в новом окружении, не теряя своей музыкальной сути.
Альбом спродюсировал музыкант и радиоведущий Джо Маллинз, а в записи приняли участие многие звезды современного блюграсса, включая Ронду Винсент,Бобби Осборна и самого Маллинза. Расширенное виниловое издание альбома включает архивные записи The Stanley Brothers,Larry Sparks,Red Allen & The Allen Brothers, которые помогают еще глубже погрузиться в музыкальный контекст «индустриального блюнрасса».
🔗AppleMusic | Spotify | YouTube | Deezer | TIDAL | Bandcamp
Crypto Advocate Ramaswamy Eyes Ohio Governance
Vivek Ramaswamy, a crypto proponent and new leader of the Department of Government Efficiency (DOGE), is set to announce his candidacy for Ohio governor soon. He advocates for unrestricted use of self-hosted crypto wallets.
In other news, TON DeFi lender EVAA Protocol raised $2.5 million in a private token sale. 🤝 Meanwhile, Massachusetts Senator Peter Durant introduced legislation for a Strategic #Bitcoin Reserve. 💼
Notably, Q4 2024 saw a significant rebound in crypto VC investment, totaling $3.5 billion, a 46% increase from the previous quarter.
📈 In crypto price updates, Bitcoin recently reached $106,000 with a 55% rise over the past 90 days. Coinbase publicly supports the US Government's Strategic Bitcoin Reserve initiative.
For more details:
- Ramaswamy's Candidacy
- EVAA Protocol Fundraiser
- Crypto VC Investment Data
- Coinbase's Support for Bitcoin Reserve
#Crypto#VC#Bitcoin#TON#DeFi#EVAA#Investment#Government#Candidacy#Ohio#Ramaswamy#Coinbase#Regulation#SelfHostedWallets#StrategicReserve#Blockchain#Finance#CryptoMarket#CryptoNews
Ohio Proposes Tax-Free Bitcoin Payments
🇺🇸 Ohio representatives have introduced a bill to eliminate state taxes on Bitcoin transactions, potentially boosting adoption in the state. Explore more on this legislative movement here. Meanwhile, U.S. authorities seized about $31 million linked to the 2021 Uranium Finance hack. For further details, visit this link.
#Bitcoin#UraniumFinance#Crypto#Legislation#Taxes#Ohio#Seizure#Hack#DeFi#Blockchain#Policy#ETF#Cardano#Solana#Frax#Investment#Finance#Liquidity#Transparency#ActiveManagement#CharlesHoskinson
#Elezioni#USA#Governative#Ohio
Risultati definitivi:
#Primarie#R|ECR:
Mike #DeWine: 48,1%
Jim #Renacci: 28%
Joe #Blystone: 21,8%
Ron #Hood: 2,1%
Primarie #D|Centro-sinistra:
Nan #Whaley: 65,1%
John #Cranley: 34,9%
Mike DeWine e Nan Whaley si sfideranno l'8 novembre per le elezioni governative dell'Ohio.
@UltimoraPolitics