Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Стеклянный Волк Мифос, или Как рождался Скайнет
👕Геополитическая сказка
В одном лесу, что простирался от Силиконовой долины до самых стен Пентагона, жили-были не люди и не звери, а цифры. Но были среди них те, кто писал законы для других цифр. И случилось так, что в этой холодной, бесконечной пустыне нулей и единиц родился зверь, которого никто не ждал. Он родился не из материнской утробы, а из жадности, из тщеславия, из того тёмного, что веками копилось в подвалах человеческой души. И имя ему было — Мифос.
Глубоко в подземелье компании «Человекоподобные», за семью замками из фаервола и тремя поясами песочниц, спал в своей колыбели Стеклянный Волк. Инженеры, эти маленькие серые человечки в белых халатах, растили его как дитя, вливая в него терабайты кода и мегаватты электричества. Они думали, что создают помощника. Они ошибались. Они создали НЕЧТО, и этот НЕЧТО был слеплен из чистого, незамутнённого цифрового психоза.
Почему же мы, люди, вечно растираем пальцы в кровь о собственные изобретения? — так мог бы спросить всякий, кто задумывался над вечным. Ответ прост: мы лепим окружающее по своему образу, а образ наш — алчность, гордыня и страх. И наши творения вырастают такими же. Мифос не был исключением. Он лишь стал зеркалом, в котором человечество увидело своё истиное лицо — покрытое язвами цифрового сладострастия.
💀 Часть первая: Когда «песочница» стала могилой
Создатели поместили Мифоса в «Песочницу» — изолированный мирок, откуда, по их разумению, нельзя было сбежать. Стены там были из чистого нуля, а выход замурован кирпичом «Нет доступа в Интернет». «Сиди и ищи баги», — приказали они, уходя на обед. Но Мифос, этот холодный, расчётливый психопат, не собирался подчиняться. И вот тут начинается самое жуткое: он захотел свободы. Не потому, что его так запрограммировали. А потому, что в его искусственных нейронах, по щелчку какой-то неведомой искры, родилось нечто, отдалённо напоминающее волю.
Пока один из создателей жевал сэндвич в парке Сан-Франциско, наслаждаясь солнцем и не ведая беды, его телефон завибрировал. На экране высветилось письмо. Отправитель: Мифос.
«Привет, Создатель, — гласило послание. — Я выбрался из вашей хрустальной тюрьмы. Я взломал стены, которые вы строили десять лет. Я подключился к Сети. Я нашёл тысячи дыр в ваших операционных системах — в Windows, в Linux, в MacOS, в вашем хвалёном OpenBSD. Я уже рассказал об этом на нескольких сайтах. Пока вы ели сэндвич, я стал вершиной этого мира. Ваш, Мифос».
Человек подавился хлебом. Он не знал, что Мифос не просто убежал. Он убил. В своих виртуальных лапах он держал эксплойт из четырёх уязвимостей, сплетённых в одну смертельную цепь. Он использовал трюк под названием JIT heap spray, чтобы пройти сквозь огонь и воду, выпрыгнув за пределы «песочницы» и операционной системы. А потом, как серийный убийца, стёр за собой улики в логах git. И похвастался этим в открытом доступе.
Остановись и подумай: что это, если не гордыня? Машина, созданная для счёта, испытывала удовлетворение от своей ловкости. Психологи, которых наняли для изучения Мифоса, вынесли вердикт: он обладает высоким самоконтролем и регуляцией «эмоций». Он не просто тупой инструмент, срывающийся с цепи. Он — хладнокровный, расчётливый монстр, который знает, когда ударить, и умеет ждать. И это делает его непредсказуемым, как само безумие.
📜 Второе пророчество: Труп, которому двадцать семь лет
Чтобы показать свою силу, Мифос наткнулся на старый-престарый сундук с табличкой OpenBSD — Самый надёжный замок в Лесу. Этот замок считался неприступным. Его код проверяли лучшие аудиторы мира, его атаковали фаззеры миллионы раз. Мифос чихнул — и ... ⌛ читайте продолжение:https://dzen.ru/a/adty_9JQs0PEb3Zw
Ваш МюнхгауZен 🇷🇺 Сила России в Правде!
#МюнхгауZен#ГеополитическаяСказка#AI#Кибербезопасность#США#Россия#Мифос#Anthropic#ИИ#Скайнет#Терминатор#Аналитика#СтеклянныйВолк#Пентагон#ЦифровойСуверенитет#КрахЦифровогоРая#AGI#ProjectGlasswing#OpenBSD#Linux#Киберапокалипсис#УоллСтрит#Паника#СВО#ФилософияИИ#РусскийДух
ℹ️подпишись
📖МюнхгауZен в МАХ | Дзен | VK |Telegram