Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
On petroglyphs and the 'Squatting Man'
Petroglyphs are rock carvings, which can be found all over the world in various, yet similar shapes. Their creation date reaches as far back as around 77.000 years ago. Mostly they are found on hill tops or mountains.
In 2003, a team around Los Alamos International Laboratory plasma physicist Anthony Peratt cataloged over a million of these petroglyphs.
One of the most interesting figures is the so called 'Squatting Man', a humanoid figure with raised arms and spread legs. Older depictions lack the two dots near the hips, but they are added almost simultanously around the world.
So what could it be, these remote people tried to express with this specific petroglyph?
As Peratt himself is a plasma physicist, he believes this glyph to represent one or more high energy plasma discharge event, seen in the sky by these ancient peoples.
Physics allows this theory to be true. Mythology supports it, as we can derive interesting conclusions.
#archeology
@EuropeanTribalism
Дорогие друзья!
Пришло время сделать свой канал. Рад приветствовать всех!
🌚о себе:
Меня зовут Антон Малахов. Я реконструктор, полевой реставратор Гнездовской археологической экспедиции, организатор и участник самых разных исторических фестивалей, независимый исследователь и прочее.
⚠️О чем этот канал?
Так как история - мой крест, тут я планирую выкладывать все, что связано с ней и мной: музеи, процессы реставрации, истории и отчеты с фестивалей, интересные новости археологии и разного рода анонсы (фестивалей и не только).
#археология#реконструкция#archeology#оканале
В Полоцком районе рыбак вместо сома выловил уникальный меч времен ВКЛ
Меч XV-XVI вв. в Западной Двине выловил рыбак, охотившийся на сома. Уникальную находку обнаружил пожарный Полоцкого отдела МЧС Александр Бриль в августе этого года во время подводной рыбалки, сообщает МЧС. В реке Западная Двина на глубине около 3 метров на участке между мостом в районе Заполотья и д. Чернещино мужчина обнаружил меч.
– Решил порыбачить, поискать сома на глубине, а тут такая находка. Вытащил, сразу думал, что это новодел, но затем почитал. Оказалось, что оружие времён Средневековья, – поделился Александр. После мужчина отнес меч на работу. И начальник Полоцкого подразделения МЧС Сергей Аваднев передал его в музейное собрание Национального Полоцкого историко-культурного музея-заповедника.
Продолжение в комменте
#меч#Белорусия#archeology
Ancient Indonesian woman reshapes views on spread of early humans
Genetic traces in the body of an ancient young woman furnish the first clue that mixing between early humans in Indonesia and those from faraway Siberia took place much earlier than previously thought.
#Indonesia#Siberia#Archeology#Migration#News#Reuters
Subscribe: http://smarturl.it/reuterssubscribe
Reuters brings you the latest business, finance and breaking news video from around the globe. Our reputation for accuracy and impartiality is unparalleled.
Get the latest news on: http://reuters.com/
Follow Reuters on Facebook: https://www.facebook.com/Reuters
Follow Reuters on Twitter: https://twitter.com/Reuters
Follow Reuters on Instagram: https://www.instagram.com/reuters/?hl=en
➖@reutersworldchannel➖
Впоследствии стеклянные сферы-шлемы под воздействием стихии и времени были полностью уничтожены. И только недавно обнаруженный документ проливает свет на происхождение и первоначальную задумку данного скульптурного комплекса. Аборигены, обладавшие утерянными ныне технологиями, воздвигли памятник инопланетянам, открывшим их остров задолго до европейцев. Doping Pong создали новую картину на основе дорожной зарисовки, не сохранившейся до наших дней, но описанной однажды в дневнике путешественника. Набросок, сопровождаемый единственной фразой, как будто озвучивал одного из изображённых героев, указывающего на небо и с уверенностью заявляющего: «Однажды они вернутся!»
Что это – картина-гипотеза или картина-документ –решать вам.
#dopingpong#history#aliens
#моаи#пасха#островпасхи#головыостровапасхи#trip#science#theory#document#hypothesis#russianart#archeology#easter#island#tour