Коля Валиотти • Дата консалтинг

Что делать, если вы — продакт и не видите свежих данных? Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными. От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями. Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам. 💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном наитии далеко не уедешь. Прежде чем идти к дата-инженеру и возмущаться, сформулируйте запрос. Какие метрики вызывают вопросы? За какой период? Из каких источников? Есть ли аномалии, на которые вы можете точно указать? Так и DE будет проще разобраться и найти проблему. 💬Сравните свои данные с источником. Если вы тянете информацию из Яндекс.Метрики, сравните ее «родной» дашборд в личном кабинете с вашим. Есть ли расхождения между ними? Если есть, значит, что-то в данных поломалось на пути на дашборд. Если нет, проблема на уровне источника. 💬 Спросите, как коллеги мониторят свои процессы и отслеживают ошибки. В идеале у них должны быть настроены алерты, чтобы сразу получать уведомления о проблемах. Если такого нет, стоит поинтересоваться почему и как дата-инженеры контролируют целостность пайплайна. 💬 Алерты настроены, и по ним видно, что что-то ломается постоянно? Это тревожный звоночек и повод инженерам покопаться в коде. Это часто бывает, когда код избыточный, доставший в наследство от предыдущих инженеров и накопивший в себе кучу мусора. Это все надо приводить в порядок. 💙Мы кратко описали частые проблемы и возможные решения, но можем рассказать и подробнее. Сделали форму из 5 вопросов, где вы можете поделиться, какие сложности в работе с данными у вас возникают, а мы попробуем помочь.

Недавно мне написал мой брат — он спрашивал, как оценить качество работы дата-инженера. Он сам продакт-директор, и в какой-то момент он начал подозревать, что с данными на проекте творится что-то не то. Процессы падают, данные не обновляются, ошибки не мониторятся. Из нашего с ним разговора родился вот этот пост для 💙LEFT JOIN, потому что я решил, что это полезная инфа для продактов и не только, а вообще для всех, кто работает с данными.

Всем привет! У меня тут ребрендинг. Так как я пишу много личного контента, то решил, что пора уже и лицо мое показать, а заодно напомнить, как меня зовут и чем я занимаюсь. Скоро еще и новый гайд по каналу выкачу, так что stay tuned!

Channel photo updated

Channel name was changed to «Коля Валиотти • Дата консалтинг»

Новое хобби: DJing Решил попробовать себя в роли диджея, потому что всегда было любопытно, в чем прикол. И оказалось, что это невероятно интересно. ▶️ Достаточно долго я просто изучал тему через Udemy. Первый курс вообще взял без всякого контроллера (девайса, который нужен для микширования треков) и начал знакомиться с софтом, который в основном все диджеи используют — Rekordbox. Конечно, когда ты со своим айтишным бекграундом в первый раз видишь интерфейс — это шок. Прикрепил для вас скриншот, чтобы вы оценили. 💡 Непонятно вообще ничего. Но со временем привыкаешь и кажется, что все очень даже логично. ▶️ Вскоре стало ясно, что на компе даже с нужным софтом нормально не помикшировать. Так у меня появился DDJ FLX-4, довольно стартовый контроллер, чтобы попробовать себя в качестве диджея. DDJ FLX-4 — это новая версия контроллера DDJ-400 от Pioneer. С ним стало гораздо интереснее, начал пробовать, экспериментировать и получается прикольно. ▶️ Однако ключевой тейк из всего этого хобби: самое главное у диджея — это не скиллы микширования, а библиотека прослушанного, которое гармонично можно сочетать друг с другом. И с этим пока проблемки, времени наслушать и найти много классных треков не хватает.

Как я повысил свою продуктивность с помощью ассистента А у вас уже есть бизнес-ассистент? ▶️ У меня теперь есть, и это круто. Это человек, которому можно «отгрузить» часть своих проблем, чтобы освободить время под задачи более высокого уровня. Дело в том, что я умею классно креативить, но очень плохо создаю порядок. И мне всегда нужен был классный администратор, который может с этим помочь. ▶️ Катя, мой ассистент — именно такой человек. Она помогает мне с документами, оплатой счетов, начислением зарплат, ведением встреч и отправкой сообщений. В общем, она снимает с меня рутину, на которую тратится очень много времени. А я теперь могу больше заниматься планированием и созданием стратегии. Короче, если вы такой же человек, как я, то я однозначно рекомендую нанять ассистента.

Проблемы брендинга Два канала в TG, блог на сайте, канал на ютубе, подкаст, курсы… За последние пару лет мы с командой наплодили невероятное количество разных проектов. И почему-то для каждого из них создали отдельный если не прям брендинг, то разные логотипы и названия. 📶В общем, у нас столько всяких разных штук, что мы в них уже запутались, и пытаемся разобраться, как все соединить воедино. Хочется сделать это все понятным для нашего слушателя, читателя и потребителя информации. Мы даже сделали карту проектов — смотрите, сколько на ней всего!

Лучший task tracker на Mac Как-то раз я уже упоминал здесь, что для планирования дел на неделю использую Things. На мой взгляд — просто гениальное, очень удобное приложение.⚡️ Эта штука напоминает, когда надо что-то сделать, позволяет создавать рекуррентные задачи, повышать или понижать их важность, раскидывать дела по категориям. На скрине показал, какие теги и категории использую я. В общем, если у вас Mac или iPhone, всячески рекомендую. А вы рассказывайте, чем сами пользуетесь?

А хотите сторис от меня? Я тут подумал, а почему бы не начать постить сторисы канала? Апдейты, анонсы, фотки, вот это все. Если вам тоже кажется, что это хорошая идея, бустаните канал, плиз)

Мое guilty pleasure У всех есть какие-то guilty pleasure. Одно из моих — FIFA. Началось все с того, что двоюродный брат Митя познакомил меня с FIFA 94. Забавно, что в ней можно было использовать всего две кнопки — для удара и для паса. ▶️ Далее почти каждый год я покупал или скачивал очередную версию. Особенно ярко помню FIFA 98 Road To WC. Кажется, именно там впервые появились 3D-модели персонажей + были доступны прикольные режимы для игры типа мини-футбола. Все это время я играл в основном на PC и в целом всегда был небольшим поклонником консолей. Хотя, несмотря на это, в какой-то момент у меня даже был джойстик даже для PC. ▶️ Короче говоря, я с завидной регулярностью играл в FIFA. Мне кажется, это вообще моя любимая игра ever, потому что у нее нет финала. Конечно, были и перерывы: когда я учился в вузе или особенно активно строил карьеру, мне было не до нее. Но вот спустя время FIFA22 (затем FIFA23, а теперь и FC24) снова со мной. Она так же хороша, как и всегда, а режим Ultimate Team, конечно, еще больше позволяет погрузиться в геймплей. А еще в 2022 году я наконец-то обзавелся первой в своей жизнью консолью PS5. ⚡️ Так что вот, строю свою FCZ и радую себя периодическими матчами онлайн. А у вас какие guilty pleasures?

Дата-грамотность для чайников: типы данных Как обещал, начинаю рассказывать про дата-грамотность. Это тема обширная, и в одном посте все не охватишь. Начнем с самого простого и поговорим про то, как хранить данные в самых популярных табличных редакторах — Excel и Google-таблицах. ⭐️Для этого нужно учитывать, что существуют разныетипы данных Существуют числа, текст, проценты, даты. И каждой ячейке в Excel или Google Таблицах нужно выставить тип, который соответствует тем данным, которые в ней хранятся. ❗️ Почему это важно? Потому что иногда нам нужно, например, посчитать какие-то агрегированные показатели, суммы, средние, медианы. Если у нашей ячейки неправильно выбран тип данных, то мы не можем взять какой-то срез информации и посчитать агрегированную статистику. Например, если у нас числа записаны в виде текста. То же самое с датами. Потому что иногда может понадобиться посчитать что-то по месяцам или по годам. И когда ты четко понимаешь, что у тебя хранятся даты (и они записаны, как даты!), ты можешь использовать функции, которые работают с датами. ⭐️Данные надо разделять — числа с числами, текст с текстом Самая частая проблема, которую я видел, — это когда люди вбивают, например, цифры и ставят в ячейке пробел и дальше пишут какие-то текстовые символы. Ячейка сразу становится текстовой, и потом к ней нельзя применять формулы для работы с цифрами. ❗️Задача человека, который работает с таблицей, понять, что каждая строка — это отдельное наблюдение, у которого может быть несколько параметров Для примера представим, что у нас таблица с данными про группу из 10 людей. Каждый человек — строчка в таблице, а по столбцам мы можем хранить их параметры: вес, рост, цвет глаз, что-нибудь еще. Такая организация таблицы нам позволит по всем людям из класса посчитать средний рост, средний вес, максимальный рост, максимальный вес и так далее. Более того, мы можем сделать такую штуку, как сводная таблица, и в ней проводить более сложные вычисления. Например, посчитать средний рост людей, у которых зеленый цвет глаз. Мы можем решать аналитические задачи и строить, например, какие-то графики. Вот такие первые, самые базовые правила для тех, кто начинает свой путь с табличками. Скажите, было полезно или лучше рассказать про что-нибудь посложнее?