Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
#einstein
Einstein@Home нашёл новые пульсары
25 сентября 2025 вышла свежая работа (arXiv:2509.21307) — проект Einstein@Home нашёл четыре новых гамма-пульсара, включая один миллисекундный, с помощью добровольных вычислений.
Да-да, эти открытия сделали обычные ПК и GPU людей по всему миру.
Ключевое:
Данные — с телескопа Fermi LAT.
Один пульсар всего в 0,93° от центра Галактики.
Все четыре — «немые» в радио, их раньше просто не замечали.
Расчёты шли на ~30 000 машин, объединённых в распределённый кластер через BOINC.
И это не игрушка — публикация в рефери-журнале.
Любопытно, что метод поиска использовал фазовое вычитание, чтобы отделить слабый сигнал от фона центра Галактики — почти как в AI-детекции шумных данных.
Мораль: если дома стоит без дела мощная видеокарта, она может не только простаивать 99% времени, но и внести вклад в науку.
Сравниваем
MacStudio на M1 Ultra
и MacBook Pro на M4 Pro
на проекте Einstein@home
У M1 Ultra 20 CPU, но одну таску на 105 000 GFLOPS он далает 2ч15мин на CPU
M4 Pro чип намного более свежий, в ноутбучном исполнении. 12 CPU, но на одну таску уходит по 1ч15мин на CPU
На GPU работает 48 ядер на M1 Ultra против 16 на M4Pro
Но новое поколение решает и более свежий чип делает одной таску на 17 500 GFPOLS за 6 минут вместо 8. Несмотря на ноутбучное исполнение.
#einstein
Я поставил в расчет на Einstein по 4 задачи в паралели (настраивается на сайте проекта), потому что длительность расчёта почти не увеличивается, а количество отработанных тасков увеличивается значительно (RTX 4090).
Почему так? Таcки Einstein на GPU что-то долго крутят вначале на почти холодной видеокарте, а при расчете четырех тасков параллельно нагрузка на GPU становится стабильной, TDP 260Ватт. Это, кстати довольно много, но для сравнения PrimeGrid умеет грузить GPU на 450Ватт, сказывется особенность вычислений. Операции с простыми числами будто созданы для обеспечения полной нагрузки на видеокарты.
#einstein
#primegrid
🪐 In the galaxy cluster Abell 2744, astronomers use high-precision observations to study the effects of gravitational time dilation, where the enormous mass of the cluster slows the passage of time for objects inside compared to more distant observers. This real effect, predicted by Einstein, means that clocks deep within Abell 2744’s intense gravity would actually tick just a little slower than those far from its massive core—a subtle warping of time caused by gravity on a truly cosmic scale. ✨
#timedilation⚡#einstein⚡#abell2744⚡#nasa⚡#galaxy⚡#stars⚡#astronomy⚡#universe⚡#cosmos⚡#space
👉subscribe Universe Mysteries
👉more Channels
What If The Universe DID NOT Start With The Big Bang?
@PBS Space Time
👉 Head to https://brilliant.org/spacetime/ for a 30-day free trial + 20% off your annual subscription
#YouTube#liked#Black_Holes#Black_Hole#Black_Hole_Physics#Space#Outer_Space#Physics#Astrophysics#Quantum_Mechanics#Space_Physics#PBS#Space_Time#Time#PBS_Space_Time#Matt_O_Dowd#Einstein#Einsteinian_Physics#General_Relativity#Special_Relativity#Dark_Energy#Dark_Matter#The_Universe#Math#Science_Fiction#Calculus#Maths#Holographic_Universe#Holographic_Principle#Rare_Earth#Anthropic_Principle#Weak_Anthropic_Principle#Strong_Anthropic_Principle