Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
⛈Когда резюме читает ИИ
ИИ всё глубже внедряется в рынок труда и постепенно меняет привычные процессы найма. Мы подготовили статью, в которой разобрали, как нейросети влияют на обработку резюме, первичный отбор кандидатов и подготовку соискателей к собеседованиям.
Опираясь на исследования МВФ, Microsoft, LinkedIn и PwC:
🔵до 60% рабочих мест в развитых странах потенциально изменятся под влиянием ИИ;
🔵75% офисных сотрудников уже используют ИИ в работе без официальных регламентов;
🔵в профессиях, где применяется ИИ, навыки обновляются на 66% быстрее, чем в остальных.
Проще говоря, без связки с нейросетями профессиональная ценность падает за считанные кварталы. При этом технологии работают как инструмент усиления, а не замены: чем их больше, тем выше ценность критического мышления, креативности и коммуникации.
🧑🎓 Кто сегодня оказывается под риском на рынке труда, какие роли приходят на смену привычным и как HR используют нейросети в найме — читайте в нашей статье.
#newsai@gptunnel
📰Сегодня в Нью-Йорке стартует историческое событие в мире искусства - первый в истории аукцион Christie's, полностью посвященный AI-арту!
«Augmented Intelligence» - так называется аукцион, который продлится до 5 марта в галерее Christie's в Рокфеллеровском центре на Манхэттене.
На аукционе представлено более 20 лотов от различных известных цифровых художников, которые исследуют взаимосвязь между автоматизацией и человеческим творчеством. Работы представлены в разных форматах - от скульптур и картин до экранных инсталляций, интерактивных произведений и цифровых NFT.
Интересно, что аукцион вызвал неоднозначную реакцию в арт-сообществе. Тысячи художников призвали британский аукционный дом Christie's отменить аукцион произведений, созданных с помощью искусственного интеллекта (ИИ).
Они утверждают, что многие работы созданы с использованием ИИ-моделей, обученных на защищенных авторским правом работах без лицензии.
Однако Christie's и некоторые участвующие художники отвергают эти обвинения, подчеркивая, что ИИ используется как инструмент для расширения творческих возможностей, а не замены человеческого творчества.
Одним из самых дорогих лотов ожидается серия «Новые лица» Пинара Ван Армана - физические холсты, написанные двумя ИИ-агентами, которые в 2017 году совместно создавали и рисовали человеческие лица. Лот представлен во вложении к посту. Предполагаемая цена этой серии - до $250,000.
❤️ — было интересно!
#newsai@gptunnel
🐍В год Змеи ИИ научился создавать противоядие от укусов хладнокровных
По данным ВОЗ, ежегодно от укусов змей страдают более двух миллионов человек, из которых около 100 тысяч погибают, а 300 тысяч остаются с инвалидностью.
Исследователи из Университета Вашингтона с помощью искусственного интеллекта создали синтетические белки, которые нейтрализуют опасные токсины, содержащиеся в ядах змей.
🔗Статья: ИИ помог создать противоядие от укусов ядовитых змей
#blog@gptunnel#newsai@gptunnel
🔝ТОП-5 открытий 2024: Как искусственный интеллект перевернул научный мир
Искусственный интеллект уже стал частью нашей жизни — мы привычно просим его написать текст, создать картинку или сгенерировать песню. А параллельно с этим с его помощью человечество совершает всё более впечатляющие научные открытия в самых разных областях.
Мы собрали 5 самых значимых открытий 2024 года:
• Исследование отпечатков пальцев
• Борьба с супербактериями
• Расшифровка языка животных
• Чтение древних свитков Геркуланума
• Двойной триумф в Нобелевской премии
➡️ Читать статью: ТОП-5 открытий 2024: Как искусственный интеллект перевернул научный мир
#blog@gptunnel#newsai@gptunnel
💡Добро пожаловать в Telegram-канал сервиса GPTunneL!
➡️ Здесь вы найдете всю необходимую информацию о нашем сервисе и его возможностях. Чтобы вам было проще ориентироваться, мы подготовили удобную навигацию по каналу.
✔️Полезные хэштеги:
#update@gptunnel - обновления и новости сервиса
#aitools@gptunnel - инструменты и советы по их использованию
#aiapps@gptunnel - приложения, созданные на базе LLM
#assistant@gptunnel - полезные ассистенты
#blog@gptunnel - полезные статьи и инструкции в блоге
#newsai@gptunnel - новости из мира искусственного интеллекта
#b2b@gptunnel - решения для бизнеса и корпоративных клиентов
#ref@gptunnel - реферальная программа и возможности заработка
#midjourney@gptunnel - советы по генерации изображений в Midjourney
#creativelab@gptunnel - советы по генерации фото и видео в Креативной лаборатории
#prompt@gptunnel - техники промпт-инжиниринга
#базазнаний@gptunnel - ёмкие ролики по работе с сервисом
#event@gptunnel - события и мероприятия с нашим участием
#newsweekly@gptunnel - еженедельная сводка событий из жизни GPTunneL и ИИ-мира
❕Правила комьюнити:
В нашем комьюнити мы ценим мнение каждого и надеемся на уважительное общение между всеми участниками сообщества.
Запрещено:
• Оскорбления, провокации, другие формы агрессивного и деструктивного поведения.
• Публикация методов обхода блокировок, предусмотренных законами РФ.
• Размещение рекламы и ссылок на сторонние ресурсы без разрешения администрации.
Приветствуется:
• Взаимопомощь участников в решении технических и практических вопросов, связанных с использованием сервиса GPTunneL.
• Обсуждения, связанные с искусственным интеллектом и его применением в различных областях.
• Вопросы, отзывы и предложения по работе и улучшению сервиса GPTunneL.
За нарушение правил предусмотрены предупреждения и бан❌
🤑Ценообразование:
Мы используем прозрачную систему оплаты “pay as to go”.
Вы платите только за фактическое использование моделей, без фиксированных тарифов.
Минимальная сумма пополнения персонального счёта составляет 50 рублей.
🔗Подробная информация о тарификации и расчете стоимости
Полезные ссылки:
🔂Приватный чат поддержки: @ScriptHeads
🔂Используй нашего Telegram-бота: @gptunnel_bot
🌐По вопросам сотрудничества можно обратиться к Варваре.
Есть вопросы или нужна помощь? Присоединяйся к нашему комьюнити, где ты сможешь получить поддержку от команды и других пользователей.