Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🚨 Breaking News: On May 24th, U.S. Bitcoin spot ETFs saw a net inflow of approximately $252 million, marking 10 consecutive trading days of inflows. BlackRock IBIT received $182 million, Fidelity FBTC $44 million, Bitwise BITB $6.4 million, and Ark 21Shares Bitcoin $4 million! 📈💼💰
#Bitcoin#ETFs#BlackRock#Fidelity#Bitwise#ArkInvest#CryptoNews
Инвестиции в ИИ: гипербола или историческая трансформация?
ARK Invest представила диаграмму, фиксирующую исторические волны капитальных вложений (CapEx) как долю от глобального ВВП. За период 1852–2025 гг. лишь две отрасли достигли пиковых значений 3–5 % ВВП: железные дороги (XIX в.) и автомобилестроение (середина XX в.). Обе трансформировали физическую инфраструктуру, транспорт и социальную организацию.
Современный эквивалент — программное обеспечение. Его CapEx достиг 2 % ВВП — уровень, сопоставимый с пиками железных дорог и автопрома. Это отражает глубокую цифровизацию: платформенная экономика, финтех, e-gov, логистика, автоматизация — всё это уже реализовано и масштабировано.
ARK предполагает, что к 2030 г. инвестиции в искусственный интеллект достигнут 8 % ВВП, ещё 2 % — на строительство ЦОДов, и 1 % — на космическую инфраструктуру (связь, спутники). Итого: 11 % глобального ВВП — на ИИ-инфраструктуру.
Критический анализ:
1️⃣ Масштабы несоразмерны историческим аналогам.
11 % ВВП — сопоставимо с мировыми военными расходами во время Второй мировой войны (около 10–12 % ВВП в 1944 г.). Ни одна мирная отрасль в истории не потребовала такого перераспределения ресурсов.
2️⃣ Физические ограничения.
- Дефицит высококвалифицированных кадров (ML-инженеры, системные архитекторы).
- Ограниченные мощности производства полупроводников (особенно 3 нм и ниже).
- Энергетическая нагрузка: один крупный ЦОД потребляет до 100 МВт — эквивалент города из 100 тыс. человек.
- Дефицит критических материалов: медь, литий, редкоземельные элементы, охлаждающие жидкости.
3️⃣ Отсутствие доноров.
Для перераспределения 11 % ВВП необходимы «жертвующие» отрасли: традиционная промышленность, энергетика, транспорт. В США или Китае нет отраслей с достаточным «избыточным» капиталом, чтобы добровольно перекачать средства в ИИ. Принудительное перенаправление (как в СССР или Китае 1950-х) невозможно в условиях рыночной экономики без катастрофического снижения производительности в других секторах.
4️⃣ Цель?
Текущие применения ИИ — генерация контента, оптимизация рекламы, автоматизация сервисов — не требуют 11 % ВВП. Нет доказательств, что ИИ-алгоритмы следующего поколения (AGI) будут иметь экономически обоснованную норму прибыли, оправдывающую такие вложения.
#ИИ#Инвестиции#ЭкономикаТехнологий#ARKInvest#CapEx#ВВП#ТехнологическийПрорыв#Анализ#Гипербола
🌐@EconRUDN
Massive Crypto Transfers and Bitcoin News
🚨 A staggering 50 billion #HEX ($104 million) moved between unknown wallets. Read more on Whale Alert. ⏳ On another note, Utah will become the first U.S. state to create a Bitcoin Reserve, investing up to 5% of state funds in $BTC and altcoins, potentially setting a precedent nationwide. 📊 Bitcoin's annual volatility is at an all-time low, with superior risk-adjusted returns compared to major asset classes as reported by ARK Invest. Meanwhile, the total Stablecoin supply on Base has surpassed $4B (source). Plus, banks are lobbying for crypto custody opportunities, while over 5,100 #BTC ($497 million) was transferred from #Kraken to an unknown wallet. Ark Invest also confirms Bitcoin's trajectory toward its 2030 price targets. 🌐
#HEX#Bitcoin#BTC#Kraken#Stablecoin#Crypto#Finance#Investments#ARKInvest#DeFi#Utah#Volatility#PriceTargets#WhaleAlert#Custody#CryptoAssets#Onchain#Investing#MarketTrends#Ethereum
Milei Denies Connection to LIBRA Token
Javier Milei claims he has no ties to the $LIBRA token, indicating he was unaware of it. Reports emerge of insider trading linked to LIBRA, amounting to over $20 million in profits before and after a key tweet. Meanwhile, the Wisconsin Pension Fund raises its Bitcoin holdings to $321 million, while the National Bank of Canada adopts a bearish stance, exercising a sell option on Bitcoin ETF shares worth over $1.3 million.
🔗 More details:
- Milei denied connections
- Senate investigates Pantera Capital
- Insider trading profits from LIBRA
- LIBRA price drop and withdrawals
- Wisconsin Pension Fund's Bitcoin increase
- National Bank of Canada's Bitcoin sell option
#Milei#LIBRA#Crypto#Bitcoin#Pantera#Investigation#CEX#TaxLaws#Wisconsin#NationalBank#SEC#Bearish#ETF#ArkInvest#CapitalGains#MarketTrends#Profit#Trading#USDC#SOL