Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#OpenAccess
Prado открывает цифровые архивы для всех🗄
Что, если к редчайшим произведениям искусства можно получить доступ не выходя из дома? 👀
Музей Прадо открыл свободный доступ к программе Aracne — платформе, объединяющей научные исследования, каталоги и архивы из крупнейших музеев и библиотек.
📚Aracne — это цифровая сеть, где можно изучать искусство глубже:
🔘редкие каталоги, книги, аналитика;
🔘контексты экспонатов и их происхождение;
🔘подключены крупнейшие европейские музеи и институции.
Теперь исследователи, студенты и просто любители искусства могут работать с первоисточниками прямо онлайн.
Это огромный шаг к тому, чтобы искусство стало по-настоящему доступным и открытым 💡
А Вы когда-нибудь хотели покопаться в музейных архивах? Теперь можно — даже в пижаме 💻
Для тех кто интересуется моя презентация Особенности открытого доступа и открытых данных в гуманитарных науках [1] в открытом доступе, с обзором открытого доступа и открытых научных данных
Ссылки:
[1] https://www.beautiful.ai/player/-OTvQBg2a4JCj0PfyeTk
#opendata#openaccess
Timing of Aortic Valve Intervention in the Management of Aortic Stenosis:⤵️ State-Of-The-Art #2024Review#openaccess
🔹https://www.jacc.org/doi/10.1016/j.jcin.2024.08.046
🗞️JACC Journals.
All but one of the #FEMSJournals have now transitioned to #OpenAccess!
Get 2024 off to a good start by submitting your research to our not-for-profit journals, and help us keep the revenues invested in the #MicrobiologyCommunity:
https://academic.oup.com/fems-journals/pages/why-publish-with-fems-journals
#ACS#публикация#openaccess#открытыйдоступ
Издательство American Chemical Society (ACS) предлагает исследователям ознакомиться с подборкой недавно опубликованных статей по химии, которые стали одними из самых читаемых в сентябре 2023 года.
10 наиболее популярных статей из журналов издательства доступны в разделе «Most Read» на сайте ACS.
Business illustrations by Storyset
Объявлен приём заявок на Премию «Открытый доступ к данным в гуманитарных науках»
АНО «Инфокультура» приглашает студентов, аспирантов, преподавателей, исследователей и сотрудников вузов и научных организаций принять участие в конкурсе проектов, способствующих развитию открытой науки в гуманитарной сфере.
📌 Что можно подать:
– результаты научных исследований,
– цифровые проекты, связанные с гуманитарными дисциплинами,
– дипломные и курсовые проекты,
– иные работы, представляющие гуманитарные данные в открытом доступе.
📚 Номинации Премии:
• История
• Филология
• Культура
• Искусство
• Иные гуманитарные науки
Номинировать проект может как сам автор (или коллектив авторов), так и любой человек или организация, знакомые с проектом. Год публикации работы не имеет значения.
🏅 Лауреаты получат памятные награды, сертификаты и специальные призы от организаторов и партнёров Премии.
📝 Приём заявок уже открыт!
🔗https://humawards.ru
#opendata#openaccess#humanitarian#contest
Anthropic запустили программу AI for Science [1] обещая выдавать существенное количество кредитов для запросов к их AI моделям. Акцент в их программе на проекты в областях биологии и наук о жизни, обещают выдавать кредитов до 20 тысяч USD, так что это вполне себе серьёзные гранты для небольших целевых проектов. Ограничения по странам не указаны, но указание научного учреждения и ещё многих других данных в заявке обязательно.
И на близкую тему Charting the AI for Good Landscape – A New Look [2] о инициативах в области ИИ затрагивающих НКО и инициативы по улучшению жизни, так называемые AI for Good. Применение AI в науках о жизни - это почти всегда AI for Good, так что всё это очень взаимосвязано.
Ссылки:
[1] https://www.anthropic.com/news/ai-for-science-program
[2] https://data.org/news/charting-the-ai-for-good-landscape-a-new-look/
#openaccess#openscience#ai#grants#readings
❓Часто задаваемые вопросы о нашем журнале
«Вестник РУДН. Серия: Международные отношения»
ℹ️ Если вы планируете публиковаться или уже подали статью, возможно, у вас есть вопросы. Мы собрали самые популярные из них — и ответили на них!
1️⃣Кто может публиковаться в вашем журнале?
Наши авторы — это исследователи из России и зарубежных стран: кандидаты и доктора наук, преподаватели, эксперты, аспиранты и молодые учёные.
Статьи студентов и бакалавров не принимаются.
2️⃣На каком языке можно отправить статью?
Мы принимаем материалы на русском и английском языках. Публикация будет на обоих языках.
3️⃣Нужно ли платить за публикацию?
Нет, наш журнал не взимает плату за публикацию (APC-free).
4️⃣Какие темы вам интересны?
Мы фокусируемся на:
🔴международных отношениях и глобальных вызовах
🟢истории международных отношений
🔵региональной безопасности (Азия, Африка, Латинская Америка)
🟠БРИКС, ШОС, СНГ, ЕАЭС
🔴цифровой дипломатии и сетевом взаимодействии
🟤межкультурном диалоге и академическом сотрудничестве
5️⃣Какие требования к оформлению ссылок?
🔗Рекомендации по оформлению
6️⃣Как проходит рецензирование?
Рецензирование у нас двойное слепое (double-blind peer review) . Это значит, что ни автор, ни рецензенты не знают друг о друге.
💬Присылайте свои работы — мы делаем вашу науку видимой, цитируемой и доступной!
✉️Подача материалов
#вакжурнал#международныеОтношения#публикациявжурнале#научнаяпубликация#РУДН#CallForPapers#рецензирование#OpenAccess#апа#апастиль#цитирование