Post #1000

Big Data – во многих случаях карго-культ Данные – новая нефть. Под этим лозунгом какое-то время назад сейлзы активно продавали важным СТО кучу различных решений для хранения и процессинга больших данных, показывая им графики-клюшки. Чем больше данных накоплено, тем более точными и взвешенными становятся принимаемые решения, и тем больше денег в итоге зарабатывает бизнес. Бывший продакт-менеджер Google BigQuery поделился историями о том, насколько много данных действительно скапливается у компаний, и как они в итоге их используют. 👉Подавляющее большинство компаний не дотягивают до терабайта данных, кроме самых крупных энтерпрайзов. 👉Большинство витрин использует либо данные за последний месяц, либо агрегированные данные. 👉Даже этот терабайт накапливается годами. С учетом паттернов использования данных, они практически бесполезны. Кроме этого, хранение большого объема данных на протяжении долгого времени, помимо затрачиваемых на инфраструктуру денег, влечет за собой дополнительные косвенные расходы: 💸Требования к хранимым данным ужесточаются. Политики вроде GDPR требуют реализации нетривиальной логики по тому, какие данные, когда и как надо удалять. Все это требует усложнения инфры, дополнительного времени разработки, и увеличивает риск нарваться на штрафы. 💸Данные могут играть против вас, если их затребуют при каком-нибудь расследовании. 💸Схема данных со временем эволюционирует, в результате чего запросы становятся все сложнее и сложнее, и в них проще допустить ошибки. Мораль статьи – не нужно гнаться за построением огромных хранилищ данных, если вы не можете сформулировать, для чего вам нужны будут эти данные в сыром виде в будущем.