Детектив данных

Неделю назад статья на Хабре по суперсету, а сегодня онлайн доклад в Комусе по самостоятельному ограничению доступа к данным на суперсет с помощью Jinja, без использования групп и ролей. Пока готовился и статейка небольшая насобиралась. Волнуюсь жуть. UPD:…

Детектив данных pinned «Приветствую всех участников группы! Меня зовут Виталий, и я рад поделиться с вами увлекательным путешествием в мир аналитики, Excel, SQL, Python через мой личный блог 📚 и небольшой YouTube канал! (Пост в ближайшее время будет редактироваться, создам расписание…»

📎Автоматизируем подготовку промтов для GPT: Python-функция для детального описания DataFrame 🕵‍♂️Следствие установило, что для получения качественного ответа (без загрузки базы в чат) часто приходится потратить довольно много времени на описание таблицы, где какой тип данных, примеры, формат, количество nan значений, диапазон дат и прочие нюансы. Будто при допросе вместо описания преступника, следователь внимательно изучает все родинки у допрашиваемого лица. И у адвоката. ⏰В качестве жертвы у нас рабочее время, которое можно потратить на описание задачи. В какой то момент я подумал, а почему бы не сделать универсальную функцию которая будет собирать эту информацию за меня, и до кучи сразу писать какой-нибудь усредненный промт (обычно писать мне его лень, и вы можете его подкорректировать под себя) ⬇️ В общем вашему вниманию представляю эту функцию. Всё что нужно, это вставить код в ячейку, и в следующей команде указать ваш датафрейм. Принт выведет вам готовый промт с описанием вашей таблицы, расскажет тип данных каждого столбца, покажет примеры значений, диапазоны и количество пропусков, а заодно проверит датафрейм на дубликаты. Простой пример на основе календаря, но в функции учитываются и числа с точкой. prompt = generate_df_prompt(calend, "calend") # Второй аргумент имя таблицы print(prompt) Сама функция в первом комментарии к посту ✏️ А как вы готовите промты для анализа данных? Делитесь вашими лайфхаками в комментариях. И ставьте 🐳 если используете ИИ.

#Воспоминания: 🧦Пост для милениалов 35+ Утроился я в снежную королеву, моя вторая, хоть и не долгая работа аналитиком. Первая неделя, молоденькая hr 💃, назначает мне встречу вместе с другими новичками в компании. 👯‍♀👯‍♂ Идёт встреча, нам показали как выглядит на фото генеральный директор, все знакомятся, очередь доходит до меня и у меня спрашивают: - Виталий, что Вы знаете о компании? - Снежная королева, модные куртки справа и слева, есть подешевле, есть подороже, королевский выбор кожи! Метро Войковская, снежная королева. -... Вообще никто ничего не понял. Ни hr, ни новые сотрудники. И как с вами работать, дорогие зумеры?

💰Все мы работаем конечно же за деньги и всё такое. Но как же приятно, чёрт возьми, получать подобные сообщения от заказчиков после досрочного успешного закрытия проекта. 🐳 🎶 И как-то пятница сразу играет новыми красками)

Сад совсем скоро. Первое сентября неизбежно. Радость удаленной работы. Тишина. Покой. Счастье.

В таком отпуске и не грех поработать. Шучу, я чисто для кадра сфоткал)

Бывший коллега прислал классику тестового задания на которое убилась неделя времени. Кстати задание местами оказалось интересным, думаю будет небольшой эксель разбор некоторых блоков. Приятно все таки променять вечерние дела и отдых, на "коллеги высоко оценили".

🍸 старички ждали, для новичков сюрприз. 💥На канале уже больше двух тысяч подписчиков, крутой рубеж, спасибо что вы со мной! И по уже наверное старой традиции - каждые 500 подписчиков решил разыгрывать книги. В этот раз пусть будет целых пять замечательных…

🍸 старички ждали, для новичков сюрприз. 💥На канале уже больше двух тысяч подписчиков, крутой рубеж, спасибо что вы со мной! И по уже наверное старой традиции - каждые 500 подписчиков решил разыгрывать книги. В этот раз пусть будет целых пять замечательных книг 😃 Итоги розыгрыша будут подведены автоматически через сутки. Будет выбрано пять победителей: каждый победитель в порядке очередности выберет себе любую книгу . Если по какой-либо причине победитель откажется от приза, или не выйдет на связь в течении суток - книга будет разыграна среди подписчиков, оставивших любой комментарий к предыдущему посту. Посылка будет отправлена ТК СДЭК. Никаких оплат не потребуется Ещё раз спасибо всем! 🙏 Жмём на кнопку!!! И через пару дней забираем книгу!

😉 Пост для лайков и комментариев к розыгрышу. Обращаю внимание что для участия в конкурсе нужно просто нажать на кнопку "Принять участие" и быть подписанным на канал. Комментарии будут задействованы если победитель откажется от приза Статистически с каждым новым розыгрышем шансы падают (по сравнению с первым конкурсом) поэтому я просто решил увеличить количество книг) 😁 Закиньте бустов каналу - надо выходить с первого уровня уже) https://t.me/boost/detective_data И включите уведомления чтобы не пропускать крутые посты) Всем удачи! 🕵️‍♂️

🕵‍♂ В очередной раз подорвался с идеей поста в группу и пошел фотошопить чемоданы. Спустя три часа готовый пост. Говорю жене: - хочешь телеграмм канал? - а я смотрю на тебя, и уже как-то не хочется... 🥲