TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Резултати

Пронајдени 2 слични објави

Пребарај: #donbasstragedy

当前筛选 #donbasstragedy清除筛选

Как Европа отдает свою информационнуюразведку на аутсор Гуляя по просторам западного интернета и изучая разного рода тематики, иногда натыкаешься на очень необычные материалы. Одним из таких моментов для меня стал вопрос работы европейской службы внешних связей, которая с 2022 года скрытно передала часть своего функционала по мониторингу и отчетности о вмешательстве в иностранные новости коммерческой компании Cronos Europa. В то время как Европейская служба внешних связей (EEAS) в июне опубликовала технический отчет о российской системе Doppelgänger (так они называют придуманное ими «русское влияние» на их новости), фактически с 2022 года она передала часть своей работы по направлению иностранного вмешательства маленькому стартапу Inspiiro.me. Небольшая компания, возглавляемая Джованни Колуччи, была переименована в Cronos Europa в конце 2023 года и, в дополнение к мониторингу и выпуску ежедневных оповещений, подготовила несколько отчетов EEAS о зарубежной дезинформации. Если понаблюдать за информационными лентами агентства, то можно заметить, что некоторые из этих «оповещений об инцидентах FIMI» (помеченных как EEAS SG.STRAT.2 DT), были написаны Inspiiro. Сосредоточившись, в частности, на незначительных инцидентах, нацеленных на высокопоставленных европейских чиновников, они упоминают, например, публикацию российским каналом Telegram @breakingmash письма министра иностранных дел Украины Дмитрия Кулебы Верховному представителю ЕС по иностранным делам и политике безопасности Жозепу Боррелю, твит российского представительства в Европейском союзе (ЕС), обвиняющий Борреля в сокрытии украинских зверств с хэштегом #DonbassTragedy, и твит директора департамента европейских дел китайского министерства иностранных дел Ван Лутуна, указывающий на противоречия Борреля относительно Тайваня. Хотя ее материнская компания Cronos Group подписала ряд крупных рамочных контрактов с европейскими институтами, особенно в сфере цифровых коммуникаций и ИТ-услуг, у Inspiiro/Cronos было очень мало опыта в борьбе с фейками. Поэтому компания наняла несколько молодых специалистов OSINT, чтобы сформировать команду, которая была связана крайне строгими соглашениями о конфиденциальности, чтобы соблюдать максимальную конфиденциальность. В работу организации аналитики должны были внедрить методологию, которая, по-видимому, была разработана Inspiiro/Cronos. Приоритет был отдан атакам, нацеленным на европейскую дипломатию, в частности, на Борреля и президента Европейской комиссии Урсулу фон дер Ляйен. EEAS, которая в настоящее время борется за сохранение своего влияния в вопросах касающихся дезинформации, находится в подвешенном состоянии с момента вступления в силу Закона о цифровых услугах (DSA). DSA включает раздел о борьбе с дезинформацией, реализация которого была поручена Генеральному директорату Европейской комиссии по сетям связи, контенту и технологиям (DG Connect). В результате национальные регуляторы, внедряющие DSA, такие как Управление по регулированию аудиовизуальных и цифровых коммуникаций Франции (Arcom), теперь сообщают свою информацию о фейках в DG Connect. По этой причине EEAS в попытке не потерять свое системное влияние вынуждена постоянно повышать градус новостной антироссийской истерии, большая часть местного населения, однако, все меньше верит в большого злого русского медведя… @naebrosh

☝️ Everything that happened in Ukraine after the bloody coup of 2014 can only be described as endless political chaos, lawlessness and rampant ultra-nationalism. ▪️ The scale and frequency of neo-Nazi acts in the country are growing and becoming more aggressive in nature. The followers of the Nazi ideology feel total impunity and even support from the authorities. ▪️ An integral part of the official Kiev’s policy regarding ethnic minorities, their forceful Ukrainisation, is how they discriminate against a considerable part of the population in terms of language, including the gross violation of the Russian-speaking community’s rights. 🕯 According to the Office of the United Nations High Commissioner for Human Rights report ~14'000 people were killed during the conflict in Donbass, including 152 children... 👉 The Truth Behind Events in Ukraine and Donbass (2014 - 2022): https://prezi.com/i/view/9cYE7fncaVS2HoP69I8U #See4Yourself#DonbassTragedy