Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Più mentono e contraddicono la realtà, più cercano di controllare il racconto che somministrano: ecco perché è in arrivo un’ondata di #censura funzionale a imporre un’agenda mondiale.
Ne parlo stasera a @border_nights
7Dicembre alle ore 21 qui
👉https://www.youtube.com/live/M_NQkCwCC-8?si=2wNSM1TRD1kxNfN3
‼️ A partir de las campañas de desinformación y de la violencia expresada a través de internet, se proponen regulaciones que atentan contra la #LibertadDeExpresión. Acá una breve nota sobre los efectos de la concentración de poder en la #censura🤐 de contenidos: https://www.derechosdigitales.org/13669/la-concentracion-del-poder-para-censurar-en-internet/
Jeevun Sandher, deputato laburista di Loughborough, ha esortato il Consiglio della Contea del Leicestershire, controllato da Reform UK di Nigel Farage, a rimuovere le bandiere inglesi dai lampioni, in quanto giudicate offensive perché escludono, sempre secondo il deputato britannico, alcune persone che potrebbero sentirsi a disagio.
Ma da quando esporre la bandiera del proprio Paese è diventato offensivo e disagiante?
Faccelo sapere nei commenti!
#news#attualita#londra#immigrazione#bandiera#attualità#sicurezza#uk#censura#politica
🇺🇸🗞 Reuters destapa censura de EE.UU. sobre Gaza
⚡️Una investigación de Reuters reveló que diplomáticos de EE.UU. bloquearon informes internos en 2024 que describían el norte de Gaza como un “paisaje apocalíptico”: restos humanos en las calles, cuerpos abandonados y colapso total de alimentos, agua y atención médica.
❗️Los cables — basados en observaciones de primera mano de agencias de la ONU y trabajadores humanitarios — fueron frenados por la embajada en Jerusalén por ser “demasiado gráficos”, “sin equilibrio” y por dejar mal a Israel.
🔸Según la investigación, expertos humanitarios fueron marginados mientras se minimizaba la hambruna. Con pruebas concretas de muerte masiva, la administración de Joe Biden optó por suprimir la verdad para sostener su narrativa.
👉No fue un error: fue complicidad.
#Gaza#Censura#Complicidad#DerechosHumanos#Periodismo#NoALaImpunidad#EEUU#Israel#ONU
#ForTheWeb#INFORME
¿Debería ser la web un bien común? ¿Libre y accesible para todo el mundo?
La Fundación World Wide Web ha publicado el informe "The Case for the Web" en el que analiza lo que ha supuesto la web para la sociedad y las tendencias actuales que la pueden poner en peligro. El documento da una serie de recomendaciones para revertir estas tendencias y de esta manera poder garantizar que la web sea abierta y gratuita a todo el mundo.
↗ El documento apunta que la web debe ser:
• Accesible y asequible para todos.
• Seguro y acogedor para todos.
• Empoderar a todos.
↗ Para conseguir que sea accesible y asequible para todos propone:
• Afrontar las barreras que impiden que las personas se conecten, con un enfoque particular en los desafíos que enfrentan las mujeres y otras poblaciones marginadas.
• Desarrollar una política inteligente que fomente la competencia y haga bajar los precios.
• Expandir las iniciativas públicas de acceso a Internet.
• Diseñar planes nacionales de banda ancha que establezcan objetivos claros para aumentar el acceso a Internet para todos, y especialmente para las mujeres.
↗ Las medidas que propone para que sea segura y acogedora:
• Equipar a cada persona en línea con el derecho y la capacidad de controlar sus datos personales de manera efectiva.
• Implementar leyes integrales de protección de datos y marcos operativos sólidos.
• Asegúrese de que las decisiones automatizadas sean explotables y rindan cuentas a las personas a las que deben servir.
• Trabajar para proteger la seguridad de todos en línea
Más info: http://bit.ly/2RTLER0
➡ The Case for the web report (PDF) http://bit.ly/2RRsxHl
⭕ Info Relacionada:
• #SaveOurInternethttps://t.me/antonigr/423
• #Censura#Telegramhttps://t.me/antonigr/365
• #Recursos#Privacidadhttps://t.me/antonigr/361
BONUS
"Un Contrato para rectificar la web" un gran artículo de Andrés Ortega para el Real Instituto Elcano @rielcano
http://bit.ly/2z9qaJd
🇮🇱📱Israele mette le mani su TikTok?
Tra accuse di propaganda cinese, pressioni USA e accordi segreti, la piattaforma più amata dai giovani diventa terreno di scontro geopolitico.
Dalla “minaccia rossa” al controllo dei contenuti in mano a Oracle e ai suoi legami con Tel Aviv: chi decide davvero cosa vediamo ogni giorno sul feed? 👀
👉 Guardalo fino alla fine e dimmi nei commenti: chi sta manipolando chi?
#TikTok#Israele#Cina#USA#Geopolitica#SocialMedia#Censura#Palestina#Netanyahu#Oracle#Propaganda#ipnorospo
https://www.youtube.com/shorts/2Va1fl-uXBo
Se ti è piaciuto questo contenuto Iscriviti al Canale Telegram
Seguici anche su:
Instagram
Youtube
Tik Tok
LinkTree
Spotify