Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🇺🇸New York Proposes Restrictions on AI Chatbots to Protect Children Online
New York Governor Kathy Hochul unveiled State of the State proposals aimed at protecting children from online harms, including predators, scams, and harmful AI chatbots integrated into digital platforms. The legislative package targets social media and online gaming services and explicitly includes disabling certain AI chatbot features for minors. The initiative is framed as part of a broader response to the youth mental health crisis.
The proposals would expand age verification requirements across platforms, mandate “privacy by default” settings for children, restrict unsolicited contact and location sharing, and require parental approval for connections for users under 13. Parents would also gain controls over children’s financial transactions. These measures build on prior New York actions, including bans on smartphones in schools, social media warning labels, restrictions on addictive feeds, and safeguards against AI companions.
In parallel, the Governor proposed a statewide expansion of Teen Mental Health First Aid training, with the goal of enabling every tenth grader to receive training. The initiative complements the expansion of school-based mental health clinics and peer support programs, positioning New York as a leading U.S. jurisdiction linking AI governance, platform regulation, and youth mental health policy.
#AIRegulation#ChildSafety#AIChatbots
Stanford Research Raises Concerns aboutChatbots Use in Legal Field
Greetings everyone! Stanford University's latest research unveils unsettling truths about popular AI chatbots, including OpenAI's ChatGPT and Google's PaLM 2. When faced with legal questions, these widely-used models exhibited "hallucinations" in responses a staggering 75% of the time.
The implications are particularly worrisome for self-represented litigants who rely on these AI tools due to financial constraints. As hopes for AI aiding legal services soar, the study underscores the urgent need for refining these models to ensure accurate and reliable legal assistance
#AILaw#LegalTech#AIChatbots#LegalServices#StanfordResearch
UK Passes Online Safety Bill - AI Chatbots Included
Hello, dear subscribers! The UK's Online Safety Bill, designed to regulate online platforms and protect users, has received approval from the House of Lords, taking it one step closer to becoming law.
This comprehensive 300-page legislation addresses various aspects, from combating the spread of illegal content online to safeguarding social media users from online harassment. Notably, now it introduces provisions concerning AI chatbots like ChatGPT and aims to protect users from harmful content.
#OnlineSafetyBill#AIChatbots#Deepfake#UKRegulation#OnlineSafety
😈Yandere AI maid to fulfill your fantasies. 😈
📲Download and play: http://openlove.life
#AIgirlfriend#roomescape#aigame#aichatbots#neko#catgirl#maid#女仆装