Post #903

Что такое data engineering - Дата-инженеры отвечают за разработку и поддержку инфраструктуры обработки данных, которые затем используются аналитиками, дата-саентистами и обычными пользователями - Помимо инфраструктуры, дата-инженеры определяют основную модель данных, при необходимости денормализуя ее для конкретных команд - Основная часть работы – построение пайплайнов перекладывания данных из разных источников, контроль целостности и качества данных, процессинг данных на потоке, поддержка хранилищ данных