Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
Before #ThrowbackThursday ends worldwide, here's a throwback to 3 years ago.
This was Evolution X 2.0, in case you haven't seen it back then and The Evolver was still called Evolution Xtras.
Kirbs Crypto Alerts | ꘜ
BTC ATH 124,000 USD
We've come a long way from last year when we were aping NFTs like NodeMonkes 🤣
#throwbackthursday
~
₿izFeed#⃣:#dailydigest
История по четвергам. Возвращение IGAT-1: возможные поставки газа из России в Иран
В конце июня "Газпром" и National Iranian Gas Company (NIGC) подписали меморандум о проработке организации поставок газа из России в Иран. И хотя аналитики видят перспективу в "реверсной нитке газопровода "Средняя Азия-Центр" (спойлер - сейчас это невозможно, речь может идти только о свопе с Туркменистаном, который не испытывает потребности в таких операциях), поставки, вероятно, будут осуществляться через Иран, по газопроводу Казимагомед-Астара. Этот газопровод был построен 54 года назад в рамках сделки "газ в обмен на оборудование" между СССР и Ираном. В 1960-70-х гг. экономика советского Закавказья быстро росла, газа не хватало и СССР договорился с Ираном о строительстве газопровода с юга Ирана к границам Союза. Это был IGAT-1 (Iran Gas Trunkline), первый магистральный иранский газопровод.
Поставки газа начались в 1970 г., а уже в 1972 г. импорт составил 8 млрд м3, превышая экспорт газа из СССР в Европу. В начале газ обходился СССР недорого - в 1972 г. Иран получал 10,9 долл./тыс. м3, к 1978 г. цены выросли до 28 долл./тыс. м3. Но после революции 1979 г. Иран потребовал увеличения расценок до 134 долл./тыс. м3 (сейчас американские производители были бы рады таким ценам). И - после отказа СССР - остановил поставки.
Вторую жизнь газопровод получил в середине 2000-х гг., когда Иран и Азербайджан договорились о своповых поставках: Азербайджан поставлял газ на север Ирана, Иран - в Нахичевань, азербайджанский эксклав. Рост спроса на газ на севере Ирана и напряженный газовый баланс в Азербайджане создали условия для заключения трехстороннего свопа с Туркменией в ноябре 2021 г.: Иран получает 1,5-2 млрд м3 газа из Туркмении взамен передавая аналогичные объемы Азербайджану. Кроме того, Азербайджан импортирует газ напрямую из Ирана.
На что может рассчитывать "Газпром", если трио превратится в квартет? Сейчас Азербайджан покупает газ у Туркмении и Ирана по 150 долл./тыс. м3. Это - региональный стандарт. И он в два раза ниже европейских цен и на 20% (с учетом разницы в транспортном плече) меньше расценок "Газпрома" для Узбекистана. А это означает, что меморандум может остаться меморандумом. Конечно, если NIGC не будет готова заплатить больше.
#ThrowbackThursday#Иран#Газпром
История по четвергам: куда инвестируют нефтяники?
По данным Росстата инвестиции в добычу нефти и газа в России в 1К2024 выросли на 20,7% г/г, до 706 млрд руб. Рост был связан с эффектом низкой базы (-11,2% г/г в 1К2023) и высоким авансированием под проведение работ летом. Темпы роста капиталовложений выше 20% г/г в I квартале не так уж и редки для российской нефтедобычи: в 1К2022, например, инвестиции выросли на 25,7% г/г и основную роль также играл эффект низкой базы.
Особенность 2024 г. - низкая динамика показателя, традиционно выступающего в роли "прокси" для инвестиций в российскую нефтедобычу: проходка в эксплуатационном бурении в 1К2024 упала на 0,7% г/г, до 6,78 млн м. За счет чего же могли вырасти капиталовложения? Например, за счет промстроительства, связанного со строительством и заканчиванием скважин, др. Какой была структура капвложений в предыдущий инвестиционный пик, в конце 1980-х гг.?
В 1988 г. на эксплуатационное бурение приходилось 47% всех инвестиций в секторе, на оборудование - 15%, на промышленное строительство - 32%. Наиболее высокой доля промстроительства была в Западной Сибири (35%): в 1980-х гг. значительные средства уходили на обустройство новых месторождений, тогда как на старых месторождениях Юга и Северо-Запада на стройку приходилось менее 10% всех инвестиций. А какие месторождения сейчас могут формировать спрос на большую стройку?
#ThrowbackThursday#Инвестиции#Нефтедобыча
История по четвергам: советские энергостратегии
На прошлой неделе новый министр энергетики Сергей Цивилев заявил о желании разработать Стратегию до 2100 г., включив в неё «лучшие практики, наработанные в Кузбассе». Это амбициозная задача, ведь Минэнерго уже третий год пытается подготовить апдейт Энергостратегии до 2035 г. Утвержденный в середине 2020 г. документ устарел до официальной публикации из-за неучета влияния пандемии коронавируса на энергетический сектор. С началом СВО и введением США и странами ЕС антироссийских санкций эта Стратегия окончательно ушла в историю.
Как разрабатывали программные документы в СССР? Обычно в качестве советского опыта вспоминают план ГОЭЛРО, разработка которого началась ещё до революции, а реализовывали – царские инженеры и ученые. Этот план был детально проработан, а подробные планы – по вводу мощностей, схемам топливообеспечения и т.д. – были доступны публично. В 1960-80-х гг. в СССР регулярно разрабатывались среднесрочные программы развития ТЭК (в рамках 5-летних планов) и более долгосрочные прогнозы. В 1984 г. ЦК КПСС принял Основные положения государственной энергетической программы (ГЭП) СССР, ставшей прообразом современных энергостратегий. ГЭП содержала индикативы по основным показателям ТЭК, но основное внимание уделялось качественным показателям: увеличению скорости бурения скважин и строительству новых установок на НПЗ. Такой выбор оказался правильным - план по добыче все равно оказался не выполнен.
А строить прогнозы по качественным показателям легче и приятнее. Тем более до 2100 г.
#Энергостратегия#ThrowbackThursday
История по четвергам: возвращение в Краснодар
В 2023 г. в России планировали ввести в эксплуатацию 5 установок гидрокрекинга. План не был выполнен, лишь на заводе «Новатэка» в Усть-Луге была запущена установка мощностью 1 млн т. «Сдвиг вправо» уже стал обычной практикой для российских НПЗ – даже «Новатэк», обычно идущий "с опережением", несколько раз переносил сроки ввода: изначально установку в Усть-Луге планировалось запустить еще в 2019 г.
Лидер рейтинга – «Роснефть», планировавшая ввести в 2023 г. сразу 8 установок (включая 3 гидрокрекинга), очень часто прибегает к этой практике. Среди наиболее известных примеров – Туапсинский НПЗ, где модернизация должна была завершиться к 2018 г. Но установки вторичной переработки до сих пор не введены в строй, хотя, например, реакторы гидрокрекинга, который должен был стать самым большим в стране, были доставлены на площадку еще в 2012 г. За это время SOCAR уже построила новый НПЗ Star в Турции.
5-й гидрокрекинг мощностью 2,5 млн т должен был ввести Афипский НПЗ, но – работы пока что продолжаются, запуск перенесен на 2025 г. Этот НПЗ интересен не только затянувшей модернизацией, но и тем, что – после присоединения соседнего Краснодарского НПЗ – официально получил статус самого старого НПЗ в России.
В начале XX века переработка нефти осуществлялась в основном в районе Баку, в Батуми, на Грозненских нефтепромыслах, а также в районе Краснодара. К концу 1980-х гг. «Грознефтеоргсинтез» (ГрозНОС) остался в Топ-10 советских НПЗ (6-е в Союзе, 4-е в России по первичной переработке), тогда как завод в Краснодаре заметно уступал новым гигантам. Но военные действия в 1990-е гг. привели к полному разрушению ГрозНОС. И сейчас Афипский-Краснодарский НПЗ – самый старый действующий нефтеперегонный завод России.
#ThrowbackThursday#КраснодарскийНПЗ#Инвестиции
Продолжаем подводить итоги🔥
Андрей Рублёв, пятая ракетка мира, не перестает радовать нас своими результатами🙌🏼
В 2021 году Андрей стал чемпионом одиночного и парного разрядов турниров ATP:
🤟🏼ABN AMRO World Tennis Tournament в Роттердаме (1-7 марта)
🤟🏼 ATP Qatar ExxonMobil Open (8-14 марта)
Поздравляем Андрея и желаем еще больших успехов в наступающем году🎄
#tennis#formulatx#формулатх#теннис#throwbackthursday
Подводим итоги победного 2021 🏆
Победы на Олимпийских играх, на турнире US Open, на турнирах ATP и WTA и на всех главных командных турнирах - это было мощно💪🏼
Но обо все по порядку🤫
Сегодня мы освежим в памяти победы целеустремленной и волевой Дарьи Касаткиной:
- на турнире WTA в Мельбурне (13-19 февраля) над Мари Бузковой
- на турнире WTA St.Petersburg Ladies Trophy 2021 (15-21 марта) над Маргаритой Гаспарян
Благодарим Дарью за красивый теннис и желаем в новом году больших побед🎾
#tennis#formulatx#формулатх#теннис#throwbackthursday
Каким было производство сливочного масла в 1938 году?
Мы привыкли к изменению классификаторов, частым пересмотрам данных, прекращению публикации статистики, что делает временные ряды - короткими, а анализ - легким. Российская ситуация непохожа на положение исследователя в развитых странах - в США, например, доступны данные по нескольким тысячам статистических показателей с конца XVIII века и до наших дней.
"Длинные ряды ценны сами по себе" - повторим вслед за экономистами мы и - подкрепим слова делом. Следуя примеру@CBRSunnyMorning, мы хотели бы поделиться с вами данными по производству сливочного масла (в последние месяцы мы часто слышали о его дефиците) за последние 70 лет. Даже такой простой показатель может поставить перед нами много вопросов. Например, почему некоторым из регионов почти удалось достичь советских показателей по выпуску масла, а другие - продолжают производить на порядок (!) меньше? Есть ли сила у регионального бренда и может ли она стать основой для возрождения отрасли? Наконец, сколько сливочного масла производили в РСФСР?
Анализируйте, собирайте и делитесь данными, пишите об ошибках и возможностях, желайте большего.
#Статистика#ДлинныеРяды#ThrowbackThursday
История по четвергам: наследие 1994 г.
В 1994 г. в российской нефтяной отрасли стартовая «большая приватизация». Кто-то – как созданный в 1991 г. «Лукойл» и в 1993 г. «Сургутнефтегаз» – подошел к этому рубежу подготовленным. Какие-то из компаний создавались «на ходу»: в мае 1994 г. были созданы «Сиданко» и Восточная НК, а вчера исполнилось 30 лет с даты основания «ОНАКО», Оренбургской нефтяной компании. За этими компаниями последовали «КомиТЭК», «Сибнефть», Тюменская НК и др. Большинство из них были созданы на основе активов «Роснефти», к концу 1990-х гг. превратившейся в небольшое предприятие с проблемными добычными активами на Юге и Дальнем Востоке и парой устаревших НПЗ.
Но такая ситуация продлилась недолго. В 2000-х гг. начался процесс консолидации и уже к середине прошлого десятилетия нефтяной сектор вернулся в 1993 г. с «большой» «Роснефтью» в окружении «Лукойла», «Сургутнефтегаза» и «Татнефти». Удивительно, но небольшая фора оказалась важной даже на длинной дистанции: гранды из 1993 г. – "Лукойл" и "Сургутнефтегаз" – смогли сохранить влияние и активы в отличие от "новичков" из 1994-95 гг. Ведь сейчас даже работающие в нефтяных компаниях аналитики не сразу вспомнят об ОНАКО, СИДАНКО и "Коми ТЭК", хотя в 1994 г. создание этих компаний кардинально изменило отраслевой ландшафт.
#ThrowbackThursday#Приватизация#Нефтедобыча
#ГазКитая-5История по четвергам. Переход на газ. Как это было в Москве?
Пекин не первый крупный город, решившийся на энергопереход ради нормализации экологической ситуации и повышения качества жизни простых граждан. В 1960-80-х гг. этот путь прошли крупные города Западной Европы, США и Советского Союза. Еще в 1950-х гг. в структуре их энергопотребления доминировал уголь, а уже в 1980-х гг. трансформация энергетического хозяйства была завершена и природный газ использовали везде - в электроэнергетике, промышленности и жилом секторе.
После Великой Отечественной войны основным топливом для Московского региона на долгие годы стали угли Подмосковного бассейна (Тульская область) и Донбасса. В 1950-х гг. потребление угля в Московском регионе превышало 25 млн т. Но высокая себестоимость добычи угля в Тульской области, рост внимания к экологическим проблемам, и, главное, открытие больших запасов газа на Северном Кавказе, в Средней Азии и в Западной Сибири предопределили газовое будущее московской энергетики.
Старт использованию природного газа в Москве дал ввод еще в 1946 г. газопровода "Саратов-Москва". Но действительно масштабная газификация началась в 1950-х гг. после запуска системы "Северный Кавказ-Центр", процесс растянулся на три десятилетия, завершившись лишь в конце 1980-х гг., после прихода "большого газа" из Тюменской области.
На пике, в начале 1990-х гг. потребление газа в Москве превышало 29 млрд м3. В 1990-2000-х гг. спрос на газ стагнировал, а в 2010-е гг. начал снижаться: из-за сокращения спроса на газ в промышленности и со стороны электростанций (после ввода новых генерирующих мощностей). Сейчас Москва потребляет 24-26 млрд м3 в год (6% всего спроса на газ в России).
#ThrowbackThursday#ГазКитая#Россия#Москва