TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Резултати

Пронајдени 3 слични објави

Пребарај: #hdfs

当前筛选 #hdfs清除筛选
Data Science Jobs

@datasciencejobs · Post #2288 · 29.08.2024 г., 18:33

#job#работа#vacancy#вакансия#Data engineer #DataScience#HDFS#PySpark #Python#удаленно Вакансия: Data engineer Формат: Удаленно Занятость: полная, 5/2 (гибкое начало дня) З/П: до 300 000 руб. 🔶Эта вакансия - отличная возможность для инженера данных стать часть вдохновленной команды и принять участие в развитии платформы машинного обучения дочерней компании 🔶 Ключевая задача: развитие платформы машинного обучения 🔶Основные обязанности •Разрабатывать отчетность с использованием скриптов на PySpark •Генерировать новые признаки для ML-моделей •Автоматизировать процессы для бизнеса 🔶Обязательные требования: •Опыт работы с большими данными: HDFS, PySpark от 1 года •Опыт работы с Python, в том числе с Pandas, NumPy Преимуществом при отборе будет •Опыт работы с геоданными, git 🔶 Что мы можем предложить взамен •Место работы: удаленно по РФ •Трудоустройство по ТК РФ в аккредитованное юр. лицо •Официальное трудоустройство •Размер заработной платы обсуждается после собеседования •Годовое премирование •ДМС со стоматологией •Компенсация мобильной связи •Возможности для развития 📲Контакт: @Oskar17

Data Science Jobs

@datasciencejobs · Post #2934 · 20.09.2025 г., 07:03

#вакансия#datascientist#llm#nlp#HDFS#Kafka#Spark#удалёнка Ищем Senior Data Scientist в команду Поиск 3.0. Сейчас направление фокусируется на развитии Циан-помощника (наш LLM агент), делая его умнее и полезнее для всех пользователей и развитии текстового поиска, внедряя в него современные NLP и мультимодальные механики. Полная удалёнка внутри РФ. Если есть желание ходить в офис, у нас есть замечательные современные офисы в Москве, Питере и Новосибе. Вилка - от 350 до 500, готовы обсуждать. О нас: В Циан большая команда ML. В команде настроены процессы перфоманс ревью, регулярного обмена опытом, выделяем время на исследовательскую работу! Сейчас направление фокусируется на развитии текстового поиска, чтобы пользователи находили идеальные варианты быстрее, и Циан-помощнике, делая его умнее и полезнее. Задачи: * NLP задачи как в виде обучения моделей, так и в виде разработки вспомогательных сущностей на python * Внедрение мультимодального подхода к поиску * Развитие интеллектуального помощника по поиску недвижимости: обучение собственных llm моделей на базе opensource, исследование готовых решений от openAI/Yandex и других. * Разработка и внедрение в продакшн моделей машинного обучения для улучшения пользовательского опыта Требования: * Опыт: Не менее 3х лет релевантного опыта на позиции DS в продуктовой компании * Python: пишет легко читаемый и поддерживаемый код * SQL (оконные функции, оптимизация запросов) * Опыт в DL: обучение/дообучение собственных глубоких нейросетей * Опыт разработки NLP моделей: от tfidf до llm * Классический ML: бустинги, линейные модели. Будет плюсом: * Apache стек: HDFS/Kafka/Spark (DF API) * Опыт работы с CV и мультимодальными моделями Бонусы: ДМС с первого дня (стоматология, госпитализация, полис ВЗР), Кафетерий льгот, 5 day off в год, помимо основного отпуска. Контакты: По всем вопросам и с резюме пишите @mistakef Не забудьте указать, что вы из datasciencejobs

GitHub Trends

@githubtrending · Post #15246 · 24.10.2025 г., 13:30

#go#blob_storage#cloud_drive#distributed_file_system#distributed_storage#distributed_systems#erasure_coding#fuse#hadoop_hdfs#hdfs#kubernetes#object_storage#posix#replication#s3#s3_storage#seaweedfs#tiered_file_system SeaweedFS is a fast, simple, and highly scalable distributed file system designed to store billions of files and serve them quickly, especially small files. It uses a master server to manage volumes on volume servers, which handle file data and metadata, enabling very fast file access with minimal disk reads. It supports features like replication, erasure coding, cloud integration for elastic storage, and compatibility with many metadata stores and APIs including Amazon S3. This means you get efficient, cost-effective storage with fast access, easy scaling, and flexible deployment options for large-scale file storage needs. https://github.com/seaweedfs/seaweedfs