Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
Live: Evacuation of hantavirus-hit cruise ship underway
A large-scale evacuation has started for passengers aboard a cruise ship stricken by a #hantavirus outbreak. The affected MV Hondius has anchored near Tenerife in Spain, where local health officials arranged orderly disembarkation. The viral outbreak has caused multiple infections and three fatalities. Asymptomatic travelers are prioritized for medical checks before being sent to the airport to return to their nations. The World Health Organization has released surveillance guidelines, advising all evacuated passengers to undergo prolonged health monitoring to stop further transmission.
via CGTN
Swiss authorities have confirmed a case of #hantavirus identified in a passenger from the MV Hondius cruise ship.
He had responded to an email from the ship’s operator informing the passengers of the health event, and presented himself to a hospital in Zurich, Switzerland, and is receiving care.
In line with the International Health Regulations (IHR), WHO is working with relevant countries to support international contact tracing, to ensure that those potentially exposed are monitored and that any further disease spread is limited.
The type of virus in this outbreak has been confirmed as Andes hantavirus by the National Institute for Communicable Diseases @nicd_sa, South Africa and the Geneva University Hospitals @hug_ge, Switzerland The support of the Institut Pasteur de Dakar @PasteurDakar, Senegal and the Administración Nacional de Laboratorios e Institutos de Salud @ANLIS_Malbran, Argentina has also been critical in responding to this event.
As of 6 May, there are 8 cases, 3 of whom are confirmed as hantavirus by laboratory testing.
WHO will continue to work with countries to ensure that the patients, contacts, passengers and crew have the information and support they need to stay safe and prevent spread.
X LINK
About Hantavirus
(spread mainly by rodents)
Swiss authorities have confirmed a case of #hantavirus identified in a passenger from the MV Hondius cruise ship.
He had responded to an email from the ship’s operator informing the passengers of the health event, and presented himself to a hospital in Zurich, Switzerland, and is receiving care.
In line with the International Health Regulations (IHR), WHO is working with relevant countries to support international contact tracing, to ensure that those potentially exposed are monitored and that any further disease spread is limited.
The type of virus in this outbreak has been confirmed as Andes hantavirus by the National Institute for Communicable Diseases @nicd_sa, South Africa and the Geneva University Hospitals @hug_ge, Switzerland The support of the Institut Pasteur de Dakar @PasteurDakar, Senegal and the Administración Nacional de Laboratorios e Institutos de Salud @ANLIS_Malbran, Argentina has also been critical in responding to this event.
As of 6 May, there are 8 cases, 3 of whom are confirmed as hantavirus by laboratory testing.
WHO will continue to work with countries to ensure that the patients, contacts, passengers and crew have the information and support they need to stay safe and prevent spread.
X LINK
About Hantavirus
(spread mainly by rodents)
Soberanía Sanitaria
🐦@SoberaniaSalud
____
#Hantavirus: el precio de desfinanciar ➡️Investigadorxs del CONICET cuentan en esta nota qué es lo que faltó, en qué se recortó, y cómo debería actuarse en estas situaciones. Siempre, la importancia de un Estado presente. @RAIIS_ARGhttps://t.co/oqkK5bXcf4
____
🔗http://twitter.com/SoberaniaSalud/status/1087361266790871045
🦠🚨HANTAVIRUS OUTBREAK HITS 36 AMERICANS ACROSS 16 STATES
🔹 16 cruise passengers quarantined at Nebraska Medical Center, 2 more at Emory Atlanta 🚢
🔹 Only known human-to-human hantavirus strain - rare Andes virus with 6-week incubation ⚠️
🔹 42-day quarantine as 11 cases confirmed globally, 3 deaths, 150 total exposed 💀
🔹 Monitoring in Texas, Georgia, Arizona, Virginia, California with twice-daily checks 🌡️
CDC says pandemic risk 'extremely low' but one French patient on life support
This Andes strain killed Gene Hackman's wife - could explode nationwide! 😰
#USNews#Hantavirus
@america
🛥️🦠 Trois autres passagers à bord du bateau de croisière MV Hondius ont montré des symptômes du hantavirus, rapporte la chaîne CNN.
Précédemment, la BBC, citant des responsables du ministère sud-africain de la Santé, avait rapporté qu’un passager de 70 ans et son épouse de 69 ans, tous deux de nationalité néerlandaise, figurent parmi les victimes d’une possible flambée de hantavirus à bord du paquebot de croisière MV Hondius, qui assurait la liaison entre l’Argentine et le Cap-Vert.
Photo: New York Post/X
#hantavirus#paquebot#victimes
🛥️🦠 Trois autres passagers à bord du bateau de croisière MV Hondius ont montré des symptômes du hantavirus, rapporte la chaîne CNN.
Selon CNN, le navire transportait 170 passagers et 71 membres d’équipage. Il est désormais amarré dans le port de Praia, la capitale du Cap-Vert. Les passagers et l’équipage n’ont pas l’autorisation de quitter le paquebot, des médecins les examinent à bord.
Précédemment, la BBC, citant des responsables du ministère sud-africain de la Santé, avait rapporté qu’un passager de 70 ans et son épouse de 69 ans, tous deux de nationalité néerlandaise, figurent parmi les victimes d’une possible flambée de hantavirus à bord du paquebot de croisière MV Hondius, qui assurait la liaison entre l’Argentine et le Cap-Vert.
Photo: New York Post/X
#hantavirus#paquebot#victimes