TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #121 · 20 јул.
Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django
Пребарај: #amlmonth
@hub_compliance · Post #32 · 18.09.2023 г., 17:41
Месяц AML продолжается 16 сентября был проведен первый вводный инструктаж для специалистов по ПОД/ФТ (AML Foundation), работающих как в казахстанских, так и зарубежных компаниях. Мы рады, что ряды комплаенс и AML офицеров пополнились новыми перспективными экспертами. Программа была проведена совместно с AIFC Academy of Law и Compliance Hub. #compliance#amlcft#amlmonth
Hashtags
@hub_compliance · Post #29 · 14.09.2023 г., 05:28
Месяц AML продолжается. Немного полезной информации об отмывании денег с использованием криптовалют. https://syntheticdrugs.unodc.org/.../moneylaundering.html #amlmonth#amlcft#cryptocompliance
@hub_compliance · Post #25 · 08.09.2023 г., 04:02
Месяц AML продолжается. На прошлой неделе Агентство по финансовому мониторингу сообщило о мероприятиях в рамках комплексной работы по противодействию незаконному игорному бизнесу. С 2019 года по фактам организации незаконного игорного бизнеса в производстве находилось 1 148 дел, из кторых окончено 940 в отношении 849 лиц. Благодаря принятым превентивным мерам за последние 5 лет наблюдается снижение в 5,5 раз количества зарегистрированных дел. Количество ежегодно выявляемых незаконных игровых терминалов снижено в 16 раз – с 1260 до 76. Также в рамках превентивных мер Агентством с использованием IT-инструментов осуществляется поиск противоправного контента в интернет-пространстве (новостные порталы, блоги, сайты и аккаунты соцсетей). За 2022 год удалось заблокировать 5,5 тыс. сайтов и аккаунтов онлайн-казино. За неполный 2023 год - более 2 тыс. сайтов. Более подробная информация размещена по следующей ссылке: https://www.gov.kz/memleket/entities/afm/press/news/details/610743?lang=ru Compliance Hub со своей стороны рекомендует, при выявлении случаев публикации противоправного контента: - отправлять жалобу в соответствующей сети; - отмечать такой контент, например, хештегом #coffeeinvestigation или другим способом, чтобы по такого рода контенту скорее были приняты меры митигации; - ну и разумеется проводить разъяснительную работу со своими близкими, особенно пожилыми людьми и подрастающим поколением, чтобы повысить их осведомленность о подобного рода схемах развода. Берегите себя! #scam#fraud#amlcft#amlmonth
@hub_compliance · Post #23 · 07.09.2023 г., 04:41
Месяц AML продолжается Compliance Hub сугубо социальный проект, который призван популяризировать вопросы комплаенс и противодействия отмыванию денег и финансированию терроризма (ПОД/ФТ). Таким образом мы как профессионалы комплаенс хотим внести свой вклад в формирование и развитие антиотмывочной и комплаенс культуры. Одним из предикатных преступлений отмывания денег является и торговля людьми. Поэтому важно помнить, что создание эффективной системы ПОД/ФТ важно не только для формального исполнения требований законодательства, но и несет в себе важную миссию в борьбе с торговлей людьми. Более подробно об этом можно почитать на ресурсе UNODC. https://www.unodc.org/unodc/en/human-trafficking/crime.html #amlcft#compliance#humanrights#modernslavery#humantrafficking#amlmonth