TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #32 · 7 фев.

Скорее всего уже слышали, что складывать строки через + это плохая практика. Падение производительности, и всё такое. Без лишних слов, давайте измерять: from timeit import timeit def t1(): # складываем 10 строк через + из переменной t = 'text' for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t2(): # склеиваем список строк через метод join arr = ['text'] * 10 for _ in range(1000): s = ''.join(arr) def t3(): # складываем через + но не из переменной а непосредственно инлайн объекты for _ in range(1000): s = 'text' + 'text' + 'text' + ... # всего 10 раз Теперь каждую строку склейки запустим по 10М раз >>> timeit(t1, number=10000) 0.21951690399964718 >>> timeit(t2, number=10000) 1.4978306379998685 >>> timeit(t3, number=10000) 0.2213820789993406 Хм, а нам говорили что через "+" это плохо и медленно ))) 😁 Тут стоит учитывать, что речь идёт о склейке множества длинных строк. Давайте изменим условия: def t4(): t = 'text'*100 for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t5(): arr = ['text'*100] * 10 for _ in range(1000): s = ''.join(arr) def t6(): for _ in range(1000): s = 'text'*100 + 'text'*100 + ... # всего 10 раз >>> timeit(t4, number=10000) 12.795130728000004 >>> timeit(t5, number=10000) 2.642637542999182 >>> timeit(t6, number=10000) 0.2184546610005782 Вот, уже другой разговор, сразу видна разница, в среднем в 6 раз. Но погодите, почему последний тест t6() по скорости такой же как и t3()? Ведь строки теперь в 100 раз длиннее! Это вопросы оптимизации кода, какие простые изменения ускоряют или замедляют выполнение программы. Мы столкнулись с примером обхода обращения к переменной. Например, именно так работает директива #define в С++, во время компиляции подставляя значение переменной вместо ссылки на неё. В Python это тоже работает, но часто ли вы сможете встретить такой способ работы со строками? К сожалению, способ почти только теоретический. В целом, тесты показали то, что мы хотели. Делаем выводы самостоятельно. Полный листинг 🌍 #tricks

Резултати

Пронајдени 3 слични објави

Пребарај: #pipelines

当前筛选 #pipelines清除筛选

🚢Saipem получила контракт на строительство офшорного трубопровода в Саудовской Аравии. Итальянская Saipem заключила новый контракт с Aramco в рамках действующего долгосрочного соглашения. Стоимость проекта оценивается примерно в $500 млн. Работы будут выполнены на месторождении Safaniya — одном из крупнейших офшорных нефтяных активов в мире. Контракт предусматривает проектирование, закупку, строительство и установку магистрального трубопровода диаметром 48 дюймов. Общая протяжённость составит около 65 км офшорной и 12 км наземной инфраструктуры, включая сопутствующие подводные объекты. Морская фаза будет реализована с использованием строительных судов Saipem, уже размещённых в регионе. Изготовление конструкций запланировано на верфи Saipem Taqa Al-Rushaid Fabricators в Даммаме с привлечением локальных инженерных ресурсов. Проект подтверждает устойчивость капитальных вложений в сегмент разведки и добычи в регионе Персидского залива и укрепляет позиции Saipem как одного из ключевых подрядчиков в офшорном строительстве на Ближнем Востоке. 📌Saipem S.p.A. — итальянская инжиниринговая и офшорная компания, основанная в 1957 году. Специализируется на EPC-проектах в нефтегазовом секторе. Акции компании обращаются на Миланской фондовой бирже; структура собственности включает институциональных инвесторов и итальянские финансовые структуры. #Offshore#Pipelines#SaudiArabia#Saipem#EnergyProjects

djangoproject

@djangoproject · Post #420 · 21.08.2017 г., 10:36

https://alysivji.github.io/mongodb-pipelines-in-scrapy.html #Scraping Websites into #MongoDB using Scrapy #Pipelines Summary Discuss advantages of using Scrapy framework Create #Reddit spider and scrape top posts from list of subreddits Implement Scrapy pipeline to send scraped data into MongoDB Sure, we could hack together a solution using #Requests and #Beautiful_Soup (bs4), but if we ever wanted to add features like following next page links or creating data validation pipelines, we would have to do a lot more work.

Repositorio data science

@repo_science · Post #3078 · 18.04.2023 г., 15:54

#analysis#AWS#Databases#ETL#MongoDB#pipelines#RDS#S3#Scala#Spark#SQL ⚙️ 50 HOURS OF BIG DATA, PYSPARK, AWS, SCALA, AND SCRAPING (2022) 🌐 Inglés ⚖️17.03GB 🔗Link ----- Canal principal:@repo_science Cupones: @freecoupons_reposcience -----