Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
NTT планирует втрое увеличить мощности дата-центров в Японии
Компания NTT - крупнейшая телекоммуникационная группа Японии и один из ключевых технологических «каркасов» страны - объявила о масштабном рывке в сторону будущего. К 2033 г. она планирует более чем втрое увеличить мощности своих дата-центров в Японии - с текущих 0,3 до 1 гигаватта. За этим стоит простой, но амбициозный расчёт: бум искусственного интеллекта (ИИ) требует всё больше энергии и вычислений, а значит нужна новая цифровая инфраструктура.
Сеть NTT уже охватывает более 160 дата-центров по всей стране, но компания готовится к расширению: новые объекты могут появиться в префектурах Тиба и Тотиги, а на Хоккайдо мощности частично направят на поддержку производителя передовых чипов Rapidus. Эти планы укладываются в более широкую стратегию укрепления технологической автономии Японии.
Будущие центры обработки данных будут изначально «заточены» под ИИ: жидкостное охлаждение, высокая плотность вычислений и интеграция с фирменной сетью IOWN должны сделать обработку данных быстрее и эффективнее. В центре этой экосистемы - идея суверенитета данных, когда информация и вычисления остаются внутри страны.
NTT также развивает собственные ИИ-модели, включая Tsuzumi 2, ориентированную на японский язык, и готовится инвестировать около 14 млрд долл. в инфраструктуру в ближайшие пять лет. Примечательно, что конкуренция в этом секторе в Японии усиливается: SoftBank и другие крупные игроки также строят свои ИИ-платформы, превращая страну в один из новых центров глобальной технологической гонки.
#Япония#Телеком#NTT
Японские 5G в небесах
Правительство Японии стремится достичь прогресса в разработке технологий эффективного использования систем беспроводной (мобильной) связи и спутниковый связи.
В последние годы Япония сталкивается с трудностями в обеспечении конкурентных преимуществ над странами с более низкими издержками на производство. В этих условиях власти делают ставку на технические инновации и экономическую безопасность страны.
Одной из перспективных технологий в области телекоммуникаций является использованиет.н.базовых беспилотных станций (HAPS - High Altitude Platform System).
HAPS представляет из себя автономный летательный аппарат, который может самостоятельно функционировать в стратосфере на высоте порядка 20 км и передавать телекоммуникационные сигналы в радиусе до 200 км (для сравнения базовая наземная станция обеспечивает до 10 км в зависимости от ландшафта).
HAPS позволяет эффективно использовать сети стандарта 5G\6G, при этом, в отличие от низкоорбитальных спутников Starlink, может использоваться для смартфонов без установки дополнительного оборудования.
Ожидается, что воздушные платформы гарантируют бесперебойное функционирование связи, в том числе и во время стихийных бедствий. Так, по данным NTT Docomo, одна такая станция способна обеспечивать потребности полуострова Ното, серьезно пострадавшего от землетрясения. Также платформы HAPS будут эффективны в труднодоступных регионах, где установка наземных базовых станций невозможна.
Существуют два перспективных проекта японского HAPS
1. Альянс NTT Docomo и Airbus. Японская компания анонсировала инвестиции в размере 100 млн. долл. в Aalto HAPS. В случае успеха Япония станет первой страной, использующей базовые беспилотные станции в коммерческих целях. NTT Docomo надеется, что к концу десятилетия HAPS будут доступны по всей стране. Тестовый экземпляр с размахом крыльев 25 метров уже показал хорошие результаты во время испытательного запуска, продержавшись в воздухе 64 дня.
2. Проект SoftBank и Alphabet. HAPSMobile, дочерняя компания SoftBank, разрабатывает альтернативную технологию совместно с HAPS Alliance (Nokia, Google, Erisson, Telefonica). Ожидается, что продукт появится на рынке в 2027 г.
В планах NTT и SoftBank масштабировать технологию HAPS на остальной мир, прежде всего на развивающиеся рынки Юго-Восточной Азии и других регионов со сложным ландшафтом. По данным исследовательской компании MarketsandMarkets, мировой рынок HAPS достигнет 189 миллионов долларов в 2028 г.
Параллельно с проектом HAPS NTT продолжает стратегическое сотрудничество с Amazon по созданию группировки из 3236 низкоорбитальных спутников для обеспечения связи.
#HAPS#5G#Мобильнаясвязь#NTT
Япония разрабатывает сети6G - вся надежда на фотонику
Япония, проигрывая Китаю в конкурентной борьбе за беспроводные сети 5G, планирует стать лидером в разработке технологии следующего поколения 6G.
Минцифры Японии начинает отбор проектов по разработке стандартов и развития ноу-хау для сетей 6G.
Планируется, что к 2028 г. именно Япония представит мировому рынку новое поколение телекоммуникационных решений, которые будут базироваться на т.н. «фотонике».
Эксперты Nikkei отмечают, что лидерство в распространении технологий 5G принадлежит КНР (Huawei), ЕС (Ericsson, Nokia) и США (Qualcomm и Cisco), и Япония с ними уже не сможет конкурировать. В свою очередь, японские компании обладают рядом уникальных технологий в передаче данных с использованием фотоники.
На данный момент наиболее передовыми решениям располагает корпорация NTT, которая разрабатывает телекоммуникационную платформу IOWN (Innovative Optical and Wireless Network).
IOWN характеризуется не только высокой скоростью передачи данных, но и низкими показателями энергопотребления. Сообщается, что тестовая передача данных при помощи IOWN уже была проведена между дата-центрами в США и Великобритании.
Японские разработчики 6G-сетей стремятся создать технические решения, позволяющие расширить географию размещения дата-центров, увеличить скорость передачи информации и снизить затраты на электропотребление.
#6G#NTT#Япония#ИИ#большие_данные#фотоника