Post #166

Что делать, если вы — продакт и не видите свежих данных? Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными. От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями. Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам. 💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном наитии далеко не уедешь. Прежде чем идти к дата-инженеру и возмущаться, сформулируйте запрос. Какие метрики вызывают вопросы? За какой период? Из каких источников? Есть ли аномалии, на которые вы можете точно указать? Так и DE будет проще разобраться и найти проблему. 💬Сравните свои данные с источником. Если вы тянете информацию из Яндекс.Метрики, сравните ее «родной» дашборд в личном кабинете с вашим. Есть ли расхождения между ними? Если есть, значит, что-то в данных поломалось на пути на дашборд. Если нет, проблема на уровне источника. 💬 Спросите, как коллеги мониторят свои процессы и отслеживают ошибки. В идеале у них должны быть настроены алерты, чтобы сразу получать уведомления о проблемах. Если такого нет, стоит поинтересоваться почему и как дата-инженеры контролируют целостность пайплайна. 💬 Алерты настроены, и по ним видно, что что-то ломается постоянно? Это тревожный звоночек и повод инженерам покопаться в коде. Это часто бывает, когда код избыточный, доставший в наследство от предыдущих инженеров и накопивший в себе кучу мусора. Это все надо приводить в порядок. 💙Мы кратко описали частые проблемы и возможные решения, но можем рассказать и подробнее. Сделали форму из 5 вопросов, где вы можете поделиться, какие сложности в работе с данными у вас возникают, а мы попробуем помочь.