Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
ByteDance Sues Intern for Alleged AI Sabotage Amid China’s AI Race
ByteDance, the parent company of TikTok, is suing a former intern, Tian Keyu, for 8 million yuan ($1.1 million USD), alleging sabotage of its AI large language model training infrastructure. The lawsuit, filed in the Haidian District People’s Court in Beijing, claims Tian manipulated the model's code without authorization. The case has gained significant attention in China, highlighting the high stakes of AI development as the country races to establish itself as a global AI leader.
While ByteDance has dismissed rumors about extensive financial losses and GPU usage linked to the incident, the lawsuit underscores the growing legal complexities surrounding AI development. Cases involving interns, particularly with claims of this magnitude, are rare, signaling the rising importance of safeguarding AI infrastructure amid intense technological competition.
#AIRegulation#AIInfrastructure#LegalTech
💡DeepSeek выложили новый open-source проект — LPLB.
Это экспериментальный балансировщик нагрузки для моделей Mixture-of-Experts (MoE).
В репозитории описано, как система:
• динамически перераспределяет экспертов, опираясь на статистику нагрузки;
• создаёт реплики с учётом топологии кластера;
• решает оптимальное распределение токенов по экспертам через LP-решатель, работающий прямо на GPU (cuSolverDx + cuBLASDx);
• использует метрики загрузки, полученные вручную, через torch.distributed или через буферы Deep-EP.
Гайд показывает, как может выглядеть умный и точный балансировщик для больших MoE-архитектур.
GitHub: https://github.com/deepseek-ai/LPLB
ai_machinelearning_big_data
#DeepSeek#LPLB#MoE#AIInfrastructure#OpenSource
⚡️Это гигантский дата-центр Amazon за $11 млрд в Индиане.
Кампус строится под обучение и инференс ИИ и будет потреблять до 2.2 ГВт - примерно как 1 миллион домов.
В состав комплекса войдут собственные электростанции, поэтому нагрузка на местную энергосеть и тарифы для жителей должна быть минимальной.
@ai_machinelearning_big_data
#Amazon#DataCenter#AIInfrastructure#AIFactory#CloudComputing
🔥UNICON SOFT — Oʻzbekistonda AI infratuzilmasi yangi darajada
UNICON SOFT kompaniyasi Oʻzbekistonda sun’iy intellekt yo‘nalishida yana bir muhim texnologik bosqichni bosib o‘tdi.
Kompaniya avvalroq mamlakatimizda birinchilardan bo‘lib NVIDIA DGX Spark superkompyuterlarini ishga tushirgan edi. Endilikda esa UNICON SOFT NVIDIA’ning eng so‘nggi avlodidagi B200 AI serverlarini Oʻzbekistonga birinchilar qatorida olib keldi.
🧠NVIDIA B200 — Blackwell arxitekturasi asosidagi eng kuchli AI platformalardan biri.
Har bir server quyidagi texnik imkoniyatlarga ega:
⚙️Asosiy texnik ko‘rsatkichlar:
• 🔹1,44 TB (1 440GB) GPU xotira (HBM3e)
• 🔹 Juda yuqori memory bandwidth (LLM va multimodal modellarga mos)
• 🔹 AI training va inference uchun optimallashtirilgan tensor cores
• 🔹 Yirik LLM’larni (70B+, 100B+, multimodal) to‘liq GPU xotirada o‘qitish imkoniyati
• 🔹 RAG, fine-tuning, distributed training va real-time inference uchun ideal platforma
💰 Ushbu darajadagi serverlarning bozordagi taxminiy narxi $500 000 atrofida baholanadi.
🚀UNICON SOFT’ning strategik maqsadi — Oʻzbekistonda:
• mustaqil va kuchli AI infratuzilma yaratish
• mahalliy AI modellarni o‘qitish
• davlat, sanoat va xususiy sektor uchun real hisoblash quvvatini ta’minlash
📦 Ma’lumotlarga ko‘ra, bu birinchi partiya bo‘lib, kompaniya yil yakuniga qadar yana kamida 10 ta NVIDIA B200 serverlarini xarid qilishni rejalashtirgan.
Bu esa UNICON SOFT’ni:
✅ Oʻzbekistondagi eng yirik AI infratuzilma investorlaridan biriga
✅ Markaziy Osiyoda yuqori darajadagi AI hisoblash markazlarini shakllantirayotgan yetakchi kompaniyalardan biriga
aylantirmoqda.
🇺🇿UNICON SOFT — sun’iy intellekt kelajagini Oʻzbekistonda qurmoqda.
#UniconSoft#NVIDIA#B200#Blackwell#AIInfrastructure#Supercomputer#HBM3e#LLM#Uzbekistan
🚀 AlphaTON Capital Secures $43 Million Strategic Funding for AI Infrastructure
AlphaTON Capital has announced a strategic financing agreement with Vertical Data, valued at approximately $43 million. According to Foresight News, the deal is expected to be finalized by the second quarter of 2026. The funding will focus on AI hardware deployment, accelerating the development of privacy computing and sovereign AI infrastructure. This initiative aims to support the integration of AI, digital assets, and confidential computing. Additionally, AlphaTON's AI and privacy computing infrastructure will provide foundational computing power for applications related to partners such as Telegram and Animoca Brands.
#AlphaTONCapital#StrategicFunding#AIInfrastructure#PrivacyComputing#SovereignAI#DigitalAssets#AIHardware#ConfidentialComputing#VerticalData#ForesightNews#Telegram#AnimocaBrands#TON