Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#ASML🔴 -17%
👉Акции ASML упали на 17% во вторник после утечки информации о прибыли до её публикации.
👆 Возможная причина такой реакции инвесторов - резкое снижение заказов на литографы (смотрите рисунок 2)
👆 Падение может продолжиться в рамках сценария "плоскость" (смотрите рисунок 1)
🔔 [美증시 특징주] 반도체주 또 '화끈'...마이크론·엔비디아·ASML 급등
📈#엔비디아#마이크론#ASML
📝#반도체#인공지능반도체
인공지능 수요 확대로 반도체 관련주들이 강세를 보이고 있어 관련 기업에 긍정적 분위기가 조성되고 있습니다.
⬜⬜⬜⬜⬜│🟥🟥🟥🟥⬜
【 겁나빠른 #드리고봇 뉴스 】
https://www.mediapen.com/news/view/1098725
⚠️ Китай попытался разобрать литографическую машину ASML (DUV), чтобы изучить её устройство, но повредил систему и затем обратился в ASML с просьбой отремонтировать.
Этот случай показал, насколько такие технологии хрупкие и зависят от поставщика.
🏭 Что такое литографическая установка
Литографическая установка - это ключевая машина, которая «печатает» микроскопические схемы на кремниевых пластинах.
Именно она формирует транзисторы и соединения, из которых состоит каждый процессор, память или графический чип.
От её точности зависит, сколько транзисторов можно разместить на одном чипе, а значит, его мощность и энергоэффективность.
ASML - голландская компания, единственный в мире производитель передовых литографических систем для чипов.
Без её технологий невозможно выпускать современные процессоры уровня NVIDIA, AMD, Apple, Intel или Huawei.
📉 Контекст
Китай серьёзно отстаёт в производстве литографических установок и не имеет доступа к топовым системам DUV и EUV от ASML из-за экспортных ограничений США.
С сентября 2024 года Нидерланды ужесточили правила — теперь даже продвинутые DUV-модели, вроде 1970i и 1980i, требуют специальных лицензий.
🔬 Что такое DUV и EUV
Литографические машины DUV (Deep Ultraviolet) и EUV (Extreme Ultraviolet) - это сердце производства чипов.
Они «печатают» микросхемы с помощью света:
- DUV использует длину волны 193 нм
- EUV - всего 13,5 нм
Чем короче волна, тем мельче детали можно выгравировать → больше транзисторов → выше производительность и ниже энергопотребление.
💡 Без таких систем невозможно создавать высокоплотные и быстрые процессоры, на которых работает современный ИИ.
https://www.techspot.com/news/109969-chinese-engineers-allegedly-broke-asml-chipmaking-machine-failed.html
@ai_machinelearning_big_data
#AI#Chips#ASML#China#DUV#EUV#Semiconductors