Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#JavaScript#Beginners
🧰
JavaScript for Beginners
The JavaScript for Beginners course aims to teach students who are new to JavaScript the fundamentals of the programming language. The course is taught by Darragh O’Neill a Udemy Instructor who has has received excellent reviews on the platform and has at present a 4.7 star rating.
The course also contains several mini-projects and challenges so we can apply the JavaScript syntax that we have learnt. The course has overs 13+ hours of content and by the end of this course students will be familiar with all the fundamental aspects of the JavaScript language including data types, variables, let, const var, arrays, objects, functions, manipulating the DOM and more.
🔗Link
-----
Canal principal:@repo_science
Cupones: @freecoupons_reposcience
-----
#Python#Excel#beginners
💻
Python in Excel
🗣 Scott Simpson
⏰30m
Get a high-level overview of the Python in Excel features launched in the public beta preview.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
😁Blue Print To Beginner: Intermediate Leglocks By Tom DeBlass😁
➡️Attack The Lower Body With Highly Effective Submission Locks, Taught By One Of Grappling’s Most In-Demand Instructors - Tom DeBlass
➡️Tom DeBlass is a Renzo Gracie black belt who has spent years training with, learning from, and training some of the best grapplers and instructors in all of Brazilian jiu-jitsu - including Gordon Ryan, Garry Tonon, and more
➡️Set up your attacks from common grappling positions like the butterfly guard, closed guard, half guard, and more as Tom shares how to learn faster and cut through the mistakes easier
$127😍$11.99😍
❗️Channel Info and FAQ (MUST CHECK BEFORE BUY)❗️
📱Payment: 📱📱📱
💰Submeta FOR FREE
🌈UFC Picks
👑MasterClass
✈️@bjjfanaticsinstructionals
#TomDeblass#Leglocks#Beginners#NoGi
💁♀️Buy
💁♀️
#ruby#beginners#hacktoberfest#hacktoberfest2020#helm#kubernetes#kubetools
Kubernetes is a powerful tool for managing containerized applications. To learn Kubernetes, you can use platforms like Kubelabs, which offer interactive tutorials and labs. These resources help you understand Kubernetes concepts from the basics to advanced levels. By using these platforms, you can practice deploying applications, managing resources, and ensuring high availability and scalability. This hands-on approach helps you gain practical experience and improve your skills in managing complex applications efficiently.
https://github.com/collabnix/kubelabs
#webScraping#Python#Scrapy
🐍
Scrapy course - Python web scraping for beginners
The Scrapy #Beginners Course will teach you everything you need to learn to start scraping websites at scale using #Python Scrapy.
Topics
- Creating your first #Scrapy spider
- #Crawling through websites & scraping data from each page
- Cleaning data with Items & Item Pipelines
- Saving data to CSV files, #MySQL & #Postgres#databases
- Using fake #user-agents & headers to avoid getting blocked
- Using #proxies to scale up your web scraping without getting banned
- Deploying your #scraper to the cloud & scheduling it to run periodically
🗣️ Joe Kearney.
🔗Link
📢#youtube
⭐️ Resources ⭐️
Course Resources
- Scrapy Docs
- Course Guide
- Course Github
- The Python Scrapy Playbook
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----