Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
А что если?
Первый phishing 🐟 митап!
Для кого?
Если ты входишь в состав SOC(ОЦИБ) и тебе давно надоели алерты?!🗿 Думаю пора отдохнуть душой и телом!
Приглашаю тебя на дружеское соревнование по phishing-у 🎣🎣🎣
Да-да ты не ошибся! 😎
Мы поедем на рыбалку, где проведем время в компании единомышленников и немного посоревнуемся в скилах phishing-a - победит сильнейший(чей экземпляр будет тяжелее)!
На досуге разведем костер 🔥 и будем рассказывать байки о нелегкой работе из жизни работника SOC. Возможно появятся и те кто откроет занавесу тайны инцидента👀
Дата: выходные(суббота/ 3 или 10 августа)(с местом еще определимся)
Условия:
1)Состоять в группе ОЦИБ
2)Приехать со своей снарягой в указанное место
3)Чтобы вступить в группу, писать в личку @rarh1k с тэгом #phishing
г. Астана🙉
⚫️Microsoft и Cloudflare ликвидировали фишинговый сервис RaccoonO365
Компании Microsoft и Cloudflare сообщили о закрытии PhaaS-сервиса (Phishing-as-a-Service, «Фишинг как услуга») под названием RaccoonO365, который использовался для кражи тысяч учетных данных от Microsoft 365.
#киберновости#microsoft#cloudflare#phishing
🎁Буст канала
🚨 Warning: businesses are facing a new threat!
#Salty2FA and #Tycoon2FA are now attacking together. The #phishing campaign that's just been discovered is stealing corporate logins at scale.
See the breakdown and key IOCs for your SOC ⬇️https://thn.news/tycoon-cyber-phish
🚀 Authorities Freeze $12 Million in Cryptocurrency Crime Proceeds
Authorities from the United States, the United Kingdom, and Canada have collaborated in a cross-border operation to freeze $12 million in proceeds from cryptocurrency-related crimes. According to NS3.AI, the investigation specifically targeted phishing schemes, highlighting the ongoing efforts to combat cybercrime in the digital currency sector.
#cryptocurrency#cybercrime#phishing#lawenforcement#crossborder#digitalcurrency#crimeproceeds#NS3AI
#html#htr_tech#phisher#phishing#phishing_attacks#phishing_pages#zphisher
Zphisher is a tool that helps create fake login pages for popular websites like Facebook and Google. It offers pre-built templates and can automatically generate phishing URLs, making it easy to use even for beginners. The tool can collect login details entered by victims and send them to the attacker. It supports SSL encryption, making fake pages look more legitimate. Zphisher is meant for educational purposes only and should not be used to break the law. It helps users understand how phishing works, which can be beneficial for learning cybersecurity.
https://github.com/htr-tech/zphisher
🚀 North Korean Crypto Theft Funds Military Expenditures, Experts Warn
Security experts have highlighted that cryptocurrency theft is increasingly being used to finance North Korea's military activities. According to NS3.AI, researchers have observed a months-long infiltration targeting Drift Protocol, indicating a shift in North Korean operations. These activities have expanded beyond phishing to include attacks on exchanges, wallet services, and key permission holders of DeFi protocols.
#NorthKorea#CryptoTheft#MilitaryExpenditures#SecurityExperts#NS3AI#DriftProtocol#Phishing#Exchanges#WalletServices#DeFiProtocols