Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
⚡️«Аквариус» планирует производить контроллеры и процессоры на базе своих ядер
Компания «Аквариус» разработала с нуля собственные чипы на архитектуре RISC-V и в этом году начала использовать их в своей технике. Об этом популяризатору отечественной микроэлектроники Максиму Горшенину рассказал руководитель группы разработки аппаратного обеспечения компании Родион Ерохин.
«Ядра наши. Мы в течение двух лет плодотворно работали и разработали их с нуля. У нас небольшая команда, мы не всё ещё успели, но ядра полноценные. Они уже стремятся в класс процессоров. Мы доделываем систему управления памятью (memory management unit; MMU). В ближайшие полгода будет реализовано всё то, что необходимо для операционных систем — таких как Linux», — подчеркнул Ерохин.
Справка RuHard:
• Ядро — центральная, функционально законченная часть микросхемы или процессора.
• MMU (memory management unit) — компонент аппаратного обеспечения компьютера, отвечающий за управление доступом к памяти, запрашиваемым центральным процессором.
• RISC-V — открытая и свободная система команд и процессорная архитектура на основе концепции RISC для микропроцессоров и микроконтроллеров.
• ООО «Производственная компания Аквариус» зарегистрировано в 2001 году в Москве. В 2020 году выручка составила 19 млрд рублей, прибыль — 726 млн. Более свежие данные отсутствуют.
📸 Скриншот из видео Максима Горшенина
Подписывайтесь на нас в Max: https://max.ru/imaxairu
#riscv#аквариус#процессор
⚡️«Аквариус» разработала контроллер на базе RISC-V
Компания «Аквариус» работает над созданием процессора на базе открытой архитектуры RISC-V и уже достигла определённых успехов. Об этом популяризатору отечественной микроэлектроники Максиму Горшенину рассказал руководитель группы разработки аппаратного обеспечения компании Родион Ерохин.
Представитель компании показал Горшенину модуль связи стандарта Wi-Max, который работает с контроллером на базе RISC-V и был создан в партнёрстве с компанией «Каскад».
«Стандарт связи, конечно, специализированный. Он предназначен для решения задач компании “Каскад”. Радиочасть здесь (в модуле, — ред.) — полностью разработка компании “Каскад”. Это почти на 100 % отечественная разработка. Мы приземляемся и локализуемся», — подчеркнул Ерохин.
По его словам, «Аквариус» хочет быть независимым. У компании есть внутренние и внешние потребности. Она стремится к контролю над всем процессом разработки, быть самодостаточной.
Справка RuHard:
• RISC-V — открытая и свободная система команд и процессорная архитектура на основе концепции RISC для микропроцессоров и микроконтроллеров.
• ООО «Производственная компания Аквариус» зарегистрировано в 2001 году в Москве. В 2020 году выручка составила 19 млрд рублей, прибыль — 726 млн. Более свежие данные отсутствуют.
📸 Скриншот из видео Максима Горшенина
Подписывайтесь на нас в Max: https://max.ru/imaxairu
#riscv#аквариус#контроллер
💬Sunʼiy intellekt dunyosidagi hafta dayjesti
🎓OpenAI yangi NextGenAI dasturini ishga tushirdi
OpenAI taʼlim va ilmiy tadqiqotlarni sunʼiy intellekt yordamida rivojlantirish uchun 50 mln dollar ajratdi. Loyihada Garvard, Kaliforniya texnologiya instituti, MIT kabi dunyoning 15 yetakchi ilmiy markazlari ishtirok etadi. Maqsad — ilm-fan va real biznes sohalarini AI yordamida bog‘lash.
🔗Batafsil
🖥Xitoy RISC-V chiplarini qo‘llab-quvvatlashni kengaytirmoqda
Xitoy yangi siyosat ishlab chiqib, ochiq kodli RISC-V chiplarini milliy miqyosda ommalashtirishni rejalashtirmoqda. Maqsad — G‘arb texnologiyalariga qaramlikni kamaytirish. Qualcomm kabi kompaniyalar ham bu arxitekturani rivojlantirishga kirishdi.
🔗Batafsil
🎧Stability AI va Arm smartfonlarga generativ audio texnologiyasini olib keldi
Endi telefoningizda yuqori sifatli audio va tovush effektlarini internetga ulanmasdan yaratishingiz mumkin. Stable Audio Open texnologiyasi yordamida audio generatsiya jarayoni Armv9 protsessorlarda 30 marta tezlashdi (240 soniyadan 8 soniyagacha).
🔗Batafsil
🌐Opera brauzerida sunʼiy intellekt-agenti — Operator ishga tushmoqda
Opera yangi Operator brauzerini eʼlon qildi. Brauzer o‘z ichiga AI-agentni olib, foydalanuvchi topshiriqlarini mustaqil bajaradi: xaridlarni amalga oshiradi, obunalarni boshqaradi va bank operatsiyalarini nazorat qiladi. Operator yaqin vaqt ichida foydalanishga topshiriladi.
🔗Batafsil
🤖Amazon GPT-o’ga raqobatchi yangi AI modelini tayyorlamoqda
Amazon "Nova" deb nomlangan kuchli sun’iy intellekt modelini taqdim etishga hozirlanmoqda. Ushbu model dasturlash va murakkab matematik hisob-kitoblarni amalga oshirishda yuqori natijalarni ko‘rsatadi. Model iyun oyida rasman e’lon qilinadi.
🔗Batafsil
#Google#Storm#RiscV#Opera#Amazon#SparkTTS
Европейский Союз продолжает активно развивать собственное видение суперкомпьютеров ближайшего будущего, в основу которых ляжет архитектура RISC-V. За три с половиной года работы проекта Marenostrum Experimental Exascale Platform (MEEP) создана новая платформа, детально описывающая различные блоки и свойства таких HPC-систем.
#hardware#hpc#eurohpc#riscv#евросоюз#cpu#суперкомпьютер#ускоритель
#servernews@servernewsru
https://servernews.ru/1093543/?utm_source=nova&utm_medium=tg&utm_campaign=sn
#c_lang#aarch64#arm#arm64#bios#boot_loader#boot_manager#bootloader#efi#gpt#loongarch#loongarch64#loongson#mbr#risc_v#riscv#riscv64#uefi#x64#x86#x86_64
Limine is a modern bootloader that boots Linux and other OSes on x86, ARM64, RISC-V, and LoongArch64 hardware, supporting MBR/GPT partitions and FAT/ISO filesystems on 32-bit Pentium Pro+ or 64-bit systems. Get binaries via Git (e.g., `git clone --branch=v11.x-binary`), build tools with `make`, and join Matrix/Fluxer chats for help. This lets you easily manage and boot multiple OSes with a clean menu, saving time on custom PC or server setups.
https://github.com/Limine-Bootloader/Limine