TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Резултати

Пронајдени 3 слични објави

Пребарај: #remotely

当前筛选 #remotely清除筛选
Data Science Jobs

@datasciencejobs · Post #1878 · 18.01.2024 г., 13:01

#вакансия#remotely#abroad#удаленка#DataScientist Вакансия: Senior Data Scientist Локация: Рассматриваются кандидаты за пределами России и Белоруссии Занятость: Полная График работы: Гибкий Зарплата: $4000 – 4500 на руки Для связи: https://t.me/Tary_bird, [email protected] Описание: Ищем опытного Senior Data Scientist для участия в проекте крупного американского маркетингового агентства. Оформление в штат в Армении. Требуется владение английским не ниже уровня B2. Responsibilities: • Develop real-time prediction systems using geospatial machine learning algorithms. • Mine and extract usable data from valuable sources. • Advanced visualization of geo-temporal algorithms. • Use machine learning tools to select features, create and optimize classifiers. • Conduct preprocessing of structured and unstructured data. • Enhance systems using LLM AI models. • Improve data collection procedures for comprehensive analytic system development. Key Skills: • Programming: Knowledge of statistical programming languages like R, Python, and database query languages like SQL, Hive, Pig is desirable. Familiarity with Scala, Java, or C++ is an added advantage. • Statistics: Good applied statistical skills, including knowledge of statistical tests, distributions, regression, maximum likelihood estimators, etc. • Machine Learning: Good knowledge of machine learning methods like k-Nearest Neighbors, Naive Bayes, SVM, Decision Forests. • Strong Math Skills: Understanding the fundamentals of Multivariable Calculus and Linear Algebra is important. • Data Wrangling: Proficiency in handling imperfections in data. • Data Visualization: Experience with tools like Matplotlib, ggplot, d3.js., Tableau for visually encoding data. • Communication Skills: Ability to describe findings to both technical and non-technical audiences. • Software Engineering Background: Strong background in software engineering. • Hands-on Experience: With data science tools and a problem-solving aptitude. • Analytical Mind: Strong analytical skills and great business sense. • Degree: In Computer Science, Data Science, Mathematics, Statistics Preferred Additional Skills: • Experience with geospatial analysis and GIS. • Knowledge of H3 hierarchical geospatial indexing or other geospatial indexes. • Familiarity with open-source geographical datasets. • Experience or familiarity with advertising technology concepts. • Experience with artificial intelligence, especially with LLM and other generative technologies.

Translators in the medical field #remotely#worldwilde Albertek Center from The USA is hiring medical interpreters worldwide for #ukrainian, #vietnamese, #portuguese, #cantonese, and #cambodian languages. If you're passionate about bridging communication gaps in healthcare, we want to hear from you! Submit your CV: [email protected] Contact via Telegram: @EliseeRom =================== Be sure to indicate in your reply that you discovered the vacancy on LinguoHunter.

Translators (Asia) #remotely#Indonesian#Malay#Telugu#Urdu #Hinglish#Tamil#Bengali#Marathi We invite translators with languages to cooperate: #Indonesian#Malay#Telugu#Urdu #Hinglish#Tamil#Bengali#Marathi Experience in the field of translations using text editors is welcome. It is necessary to translate marketing texts from Russian or English. Write to: @Marina19931 Please do not disturb the translation agency! We don't cooperate. ============================ Разместить вакансию | LinguoHunter