Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Hashtags

#libs #tricks #django

Резултати

Пронајдени 1 слични објави

Пребарај: #probabilityandmathematicsstatistics

当前筛选 #probabilityandmathematicsstatistics清除筛选

声援承德程序员🌀💻 内卷机房

@IMRoom · Post #5 · 12.12.2020 г., 22:00

Најди слично Погледај

#Mathematics 数学： #Calculus 微积分 #DiscreteMathematics 离散数学 #LinearAlgebra 线性代数 #ProbabilityAndMathematicsStatistics 概率论与数理统计 #ComputerScience 计算机科学： #AI Artificial Intelligence 人工智能 #AlgorithmicAndDataStructures 算法与数据结构 #AugmentedReality 增强现实 #BlockChain 区块链 #C C语言 #CompilerPrinciples 编译原理 #ComputerNetwork 计算机网络 #ComputerOrganization 计算机组成原理 #CPP C++语言 #CV Computer Vision 计算机视觉 #DataMining 数据挖掘 #DataVisualization 数据可视化 #DL Deep Learning 深度学习 #DS DataScience 数据科学 #FormalLanguageAndAutomata 形式语言与自动机 #InformationRetrieval 信息检索 #InformationSecurity 信息安全 #Java Java语言 #LaTex LaTex #ML Machine Learning 机器学习 #ModernCryptography 现代密码技术 #NeuralNetwork 神经网络 #NLP Natural Language Processing 自然语言处理 #OperatingSystems操作系统#PrincipleOfDatabaseSystems 数据库原理 #Python Python语言 #RL Reinforcement Learning 强化学习 #UI User Interface 用户界面 #UX User Experience 用户体验 #VR Virtual Reality 虚拟现实 Liberal Arts Education 通识教育： #HASS Humanities, Arts and Social Sciences 人文、艺术与社会科学： #ArtsAndLiterature 艺术与文学： #Art 艺术 #Architecture 建筑 #Composition 作文 #Design 设计 #Literature 文学 #Music 音乐 #VisualArt 视觉艺术 #HistoricalStudies 历史研究： #ArtHistory 艺术史 #History 历史 #MusicHistory 音乐史 #InternationalStudies 国际研究 #PhilosophyAndValues 哲学与价值观 #Logic 逻辑 #Philosophy 哲学 #Religion 宗教 #SocialAndBehavioralScience 社会与行为科学 #Communication 沟通 #Economics 经济学 #Macroeconomics 宏观经济学 #Microeconomics 微观经济学 #Politics 政治学 #Characteristics 特色： #JINDAISHI Survey of Modern Chinese History 中国近现代史纲要 #JUNLI Military Theory 军事理论 #JUNXUN Military Training 军事训练 #MAYUAN Basic Theory of Marxism 马克思主义基本原理 #MAOGAI Introduction to Mao Zedong's Thoughts and Theoretical System of Socialism with Chinese Characteristics 毛泽东思想和中国特色社会主义理论体系概论 #QNDXX Qing Nian Da Xue Xi 青年大学习 #SIXIU Cultivation of Ethics and Fundamentals of Law 思想道德修养与法律基础 #XSZC Circumstance and Policy 形势与政策 Global Universities 海外大学： #CityU City University of Hong Kong 香港城市大学 #CMU Carnegie Mellon University 卡内基梅隆大学 #CUHK Chinese University of Hong Kong 香港中文大学 #Harvard Harvard University 哈佛大学 #HKUST The Hong Kong University of Science and Technology 香港科技大学 #MIT Massachusetts Institute of Technology 麻省理工学院 #NTU Nanyang Technological University 南洋理工大学 #NUS National University of Singapore 新加坡国立大学 #Oxford University of Oxford 牛津大学 #Princeton Princeton University 普林斯顿大学 #PolyU The Hong Kong Polytechnic University 香港理工大学 #Stanford Stanford University 斯坦福大学 #UBC University of British Columbia 英属哥伦比亚大学 #UCB University of California, Berkeley 加利福尼亚大学伯克利分校 #UCLA University of California, Los Angeles 加利福尼亚大学洛杉矶分校 #UTokyo University of Tokyo 东京大学 #UToronto University of Toronto 多伦多大学 #UWaterloo University of Waterloo 滑铁卢大学 Universities in China 中国的大学： #BUPT Beijing University of Posts and Telecommunications 北京邮电大学 #HUST Huazhong University of Science and Technology 华中科技大学 #PKU Peking University 北京大学 #SJTU Shanghai Jiao Tong University上海交通大学 #THU Tsinghua University 清华大学 #UESTC University of Electronic Science and Technology of China 电子科技大学 #USTC University of Science and Technology of China 中国科学技术大学 #ZJU Zhejiang University 浙江大学 Channel 频道： #Introduction 介绍 #Navigation 导航 #Reserved 预留 #Telegram 电报 #Unfinished 未完成 (Sort A to Z 按字母顺序由A到Z排序) (纳入标签，仅代表我目前或未来关注的内容可能与其有关联，不等于我的实际生活与其相关） Introduction 介绍 : My room 我的房间 : @IMRoom Room name 房间名称 : Involution Machine🌀💻 Room 内卷机房 My group 我的群组 : @IMTown Group name 群组名称 : Involution Machines Town🌀💻 内卷机城 Myself 我自己 : @IM996 My name 我的名字 : Involution Machine🌀💻！内卷机 #Navigation#Introduction

Hashtags

#mathematics #calculus #discretemathematics #linearalgebra #probabilityandmathematicsstatistics #computerscience #ai #algorithmicanddatastructures #augmentedreality #blockchain #c #compilerprinciples #computernetwork #computerorganization #cpp #cv #datamining #datavisualization #dl #ds #formallanguageandautomata #informationretrieval #informationsecurity #java #latex #ml #moderncryptography #neuralnetwork #nlp #operatingsystems操作系统 #principleofdatabasesystems #python #rl #ui #ux #vr #hass #artsandliterature #art #architecture #composition #design #literature #music #visualart #historicalstudies #arthistory #history #musichistory #internationalstudies #philosophyandvalues #logic #philosophy #religion #socialandbehavioralscience #communication #economics #macroeconomics #microeconomics #politics #characteristics #jindaishi #junli #junxun #mayuan #maogai #qndxx #sixiu #xszc #cityu #cmu #cuhk #harvard #hkust #mit #ntu #nus #oxford #princeton #polyu #stanford #ubc #ucb #ucla #utokyo #utoronto #uwaterloo #bupt #hust #pku #sjtu #thu #uestc #ustc #zju #introduction #navigation #reserved #telegram #unfinished