TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Резултати

Пронајдени 6 слични објави

Пребарај: #vice

当前筛选 #vice清除筛选
The Idealist

@theidealist · Post #2401 · 09.03.2022 г., 14:28

Vice: вещи, которые мы не хотим знать Вы хотите знать, что вам подарят на Рождество? Спойлер к фильму? Когда вы умрете? Исследование осознанной неосведомленности позволяет выявить темы, о которых люди хотят оставаться в неведении. "Во время холодной войны в восточной Германии тайная полиция Штази следила за гражданами Германской Демократической Республики с помощью десятков тысяч «внештатных сотрудников». Это были обычные люди, которые сообщали информацию о своих соседях, друзьях и членах семьи. После воссоединения Германии в 1990 году файлы Штази были открыты для общественности, и любой желающий мог проверить, не передавали ли их близкие информацию. Многие решили этого не делать - они просто не хотели знать". https://theidealist.ru/thingswedontwannaknow/ #Vice#общество#человек#психология#история

The Idealist

@theidealist · Post #2292 · 08.09.2021 г., 13:00

​​Vice: данные как оружие Они говорили нам, что все данные, которые собираются их умными, удобными и бесплатными приложениями - обезличены. Они убеждали нас, что эта постоянная - 365 дней в году, 24 часа в сутки - слежка за нами, нашим местоположением, нашими интересами - не представляет никакой опасности. Что всё это просто набор информации, по которому нельзя вычислить привычки, склонности и пристрастия обычного, ничем не примечательного человека. Они лгали. Прямо сейчас, очень просто и недорого, обладая общими знаниями о ваших привычках (адрес, место работы), можно купить всю карту вашей жизни, и узнать о вас то, что вы навряд ли хотели кому-либо сообщать. Именно такая "неприятность" произошла с американским пастором Джеффри Бариллом, который пользовался приложением для гей-знакомств. Какое кому, собственно, дело до того, кем и чем увлекается взрослый человек на добровольной основе, не нанося вреда окружающим? Им - есть дело до всего. Им всё доступно. И тем, кто умеет зайти в даркнет и готов потратить несколько долларов. «Каждый, у кого есть телефон и кто установил приложение, содержащее рекламу, в настоящее время подвергается риску деанонимизации со стороны недобросовестных компаний». https://theidealist.ru/weaponizedapps/ #Vice#технологии#интернет#геолокация#персональныеданные

The Idealist

@theidealist · Post #2345 · 07.12.2021 г., 14:21

​​Vice: цифровая одежда – обыденность завтрашнего дня Согласно исследованию, проведенному британской Barclaycard, почти каждый десятый британец покупал одежду в Интернете только для того, чтобы надеть ее один раз, с целью разместить фотографию в социальных сетях, а затем вернуть покупку. А теперь подумайте вот о чём: если всё больше вещей вы покупаете ради фоточек в инстаграме, то не проще ли сразу купить их «цифровые версии» а не тратить кучу денег и ресурсов планеты? Если вы пришли к той же мысли, то спешим обрадовать: «цифровая одежда» — это уже буквально обыденность завтрашнего дня. Популярность тех же скинов в онлайн-играх не даст соврать. «Свои первые несколько цифровых вещей Джануш приобрел на сайте DressX, компании, которая была запущена в августе 2020 года и сейчас продает свои собственные модели, а также плоды сотрудничества с различными цифровыми дизайнерами. Клиенты DressX могут примерить цифровую одежду с помощью дополненной реальности. Если они принимают решение о покупке, то загружают свою фотографию на сайт или в приложение, а через один-два дня получают фотографию, на которой их цифровая одежда профессионально смоделирована на их теле и готова к размещению в социальных сетях. Наверняка тот, интересуется модой, будет не против примерить уникально красивую вещь, которую физически невозможно произвести». https://theidealist.ru/digiclothes/ #Vice#технологии#мода#VR#AR#Metaverse

The Idealist

@theidealist · Post #2001 · 02.03.2020 г., 16:32

​​Vice: как антивирусы торгуют историей вашего браузера. Секретный рынок торговли персональными данными Они продают информацию о каждом вашем клике, каждом посещённом сайте, каждом просмотренном видео или сделанной покупке. Jumpshot, дочерняя компания известного антивируса Avast, получает от материнской компании персональные данные пользователей, «перепаковывает» их, а затем продаёт крупнейшим компаниям в мире: Google, Yelp, Microsoft, McKinsey, Pepsi, Home Depot, Condé Nast, Intuit и многим другим. Некоторые клиенты платили миллионы долларов за продукты, которые включают в себя так называемый «канал всех кликов», который может отслеживать поведение пользователей, клики и перемещение по веб-сайтам с высокой точностью. Шокирующее расследование известных западных изданий MotherBoard и PCMag в изложении VICE и переводе "Идеалиста" - впервые на русском языке! «По информации изданий Motherboard и PCMag эти персональные данные включали в себя Google поиск, локации и координаты GPS на Google Maps, страницы LinkedIn, частные видео на YouTube, а также информацию о посещённых порносайтах. С помощью собранного пула данных можно определить когда анонимный пользователь посещал YouPorn и PornHub, а в некоторых случаях даже поисковые запросы и конкретные просмотренные видео. Хотя наборы данных не включают в себя персональную информацию, такую ​​как имена пользователей, они по-прежнему содержат множество специфических данных, и эксперты говорят, что с их помощью деанонимизация конкретного лица не так уж и сложна». https://theidealist.ru/avastleak/ #Vice#технологии#ПерсональныеДанные#Motherboard#PCMag#антивирус#Avast#интернет#безопасность