В общем, была задача на оптимизацию плана работ: есть набор заказов, и в каждом N тасков. Таски могут зависеть друг от друга или нет, имеют длительность и тип. Ещё есть M работников, каждый из которых может выполнять таски только определённых типов, причём, у каждого своя скорость.
Если все таски в заказе выполнены, фирма получает сколько-то денег. У заказа есть дедлайн, за просрочку штраф (за каждый день просрочки), который вычитается из цены заказа. И ещё фирма тратит деньги за каждый день своей работы независимо от того, как загружены её сотрудники (то есть просто платит зарплаты по сути). Ещё важен учёт праздников и выходных.
Нужно заработать на определённом наборе заказов и работников как можно больше денег. Полный текст задачи и код программы проверки есть в репозитории. Эта задача является изменённым заказом, который мы с напарником решали в реальной жизни: оптимизация работы печатных станков для типографии. Правда, тогда и мы справились так себе, и заказчик в итоге сначала захотел всё вручную сам делать, а потом и вовсе похоронил проект при смене директора.
!!! Не читайте дальше, если хотите сначала попробовать решить самостоятельно, потому что я сейчас опишу эффективные подходы и результаты.
________________________________________
Так вот. Мы с другим экспертом Андреем сразу сели и написали разные варианты, чтобы задать шкалу, по которой будем оценивать решения команд. За пару часов я собрал примитивный жадный алгоритм, который сортировал заказы по прибыльности и укладывал в сетку кое-как, это дало нам нижнюю оценку. Мой алгоритм заработал ~75 млн виртуальных рублей, мы решили для оценки поставить нижней границей 40 млн. То есть всё, что ещё ниже, оценивалось в ноль баллов за качество оптимизации.
Затем Андрей закрылся дома на три дня и вышел на свет со сложным жадным алгоритмом, который очень хитро сортировал заказы и очень хитро укладывал их в сетку, попутно выбирая разные способы этой укладки в зависимости от конкретного заказа. Это позволило заработать ~275 млн рублей. Мы сделали верхней границей для оценки 280 млн.
К сожалению, в итоге только две команды из десяти прошли нижнюю границу, заработав, соответственно, ~91 и ~105 млн. К верхней границе не приблизился никто. И у четырёх команд алгоритм вообще не смог уложить без нарушений задачи в сетку (то есть, например, произвольно менял длительности, накладывал задачи друг на друга, давал одному работнику две задачи в один момент и так далее). Важной ошибкой команд, на мой взгляд, являлся тот факт, что никто не воспользовался возможностью запустить алгоритм на несколько минут и дать ему поработать. По условиям задания, можно было тянуть до 5 минут на одну оптимизацию, но по факту решения команд отрабатывали за единицы и десятки секунд.
На самом конкурсе, пока команды работали, я решил попробовать сделать быстрое (по времени написания) но эффективное решение. Сначала попробовал жадную сортировку + доведение до лучшего варианта методом имитации отжига. В качестве нового состояния я просто менял местами заказы целиком. Этот вариант работал пару минут и дал мне около ~200 млн дохода. К слову, команда-лидер использовала такой же подход, просто не докрутила число итераций и температуру.
Ну и потом я взял готовую либу по реализации классической генетики с особями и скрещиванием. Особью был массив с приоритетами заказов (которые конечно же нужно было аккуратно уложить чистым алгоритмом). Тип скрещивания: scattered. Всего 15 поколений по 20 особей, и это за минуту-полторы давало ~230-240 млн. Считаю, что для конкурса это самый лучший выбор: пишется одним человеком за день и даёт почти максимум, при этом легко настраивается на нужную длительность работы, легко параллелится.
Ну а потом уже дома я посидел и накодил свой вариант сложного жадного с плавающим окном перебора отсортированных заказов и плавающей же укладкой по работникам. Такая штука за две минуты зарабатывает ~281 млн. Но за три дня в условиях стресса я бы такое не сделал, скорее всего.
#dev
#вакансия#DA#analyst#remote#fulltime
Вакансия: Middle Data Analyst
Формат: Удаленный
Занятость: Полная
Локация: РФ, РБ
Оплата: 3000 - 4000$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем MiddleData Analyst для аустафф-проекта в сфере ритейла.
Задачи:
- Собирать и анализировать данные из различных источников, включая обработку и очистку данных для обеспечения их качества и надежности.
- Создавать интерактивные отчеты и дашборды (matplotlib, seaborn, Power BI, Tableau).
- Анализировать бизнес-процессы, выявлять узкие места и разрабатывать предложения по их оптимизации.
- Разрабатывать и внедрять новые продукты и решения, основанные на анализе данных, с оценкой их влияния на бизнес-показатели.
- Проводить A/B тесты, включая планирование, анализ и интерпретацию результатов.
- Писать скрипты и настраивать процессы для извлечения, трансформации и загрузки данных (ETL), создавать и поддерживать аналитические витрины данных.
Требования:
- Опыт работы аналитиком данных от 3 лет.
- Опыт общения с бизнес-заказчиками.
- Уверенное знание Python и SQL.
- Опыт работы с библиотеками визуализации данных (matplotlib, seaborn и пр.).
- Опыт анализа/изменения бизнес-процессов.
- Опыт внедрения/изменения продуктов, основанных на данных.
Будет плюсом:
- Опыт проведения А/В тестов и оценки их результатов.
- Опыт написания ETL-процессов/создания витрин данных.
- Что-нибудь из: docker, git, airflow, nifi, kafka, командная строка Linux.
- Опыт работы с BI-инструментами (Power BI, Tableau)
- Опыт сбора, составления и согласования функциональных требований к продукту.
Условия:
- Удалённый формат работы.
- Гибкий график.
- Полная занятость.
- Оформление по ИП.
- Возможность роста и развития в крупной компании.
- Оплата 3000 - 4000$ net по результатам собеседования.
Буду рада ответить на вопросы и ознакомиться с резюме: @rinapina_ptolemay
#вакансия#vacancy#DA#analyst#senior#remote#fulltime#optimization
Вакансия: Middle+/Senior Data Analyst (с опытом в оптимизационных задачах)
Формат: Удалённый
Занятость: Полная
Оплата: 3500 - 4500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем ML Engineer для аутстафф-проекта в сфере металлургии.
Обязанности:
- Разрабатывать и внедрять алгоритмы оптимизации для объемно-календарного планирования.
- Осуществлять постановку и решение задач LP, NLP, определять целевые функции и ограничения.
- Автоматизировать планирование в промышленности или смежных областях.
- Работать с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner) и солверами (COBYLA, Ipopt и др.).
Требования:
- Опыт работы по функциональному направлению от 4-х лет.
- Знание языков программирования Python либо Java.
- Знание основных типов оптимизационных задач (LP, NLP и т.д.).
- Опыт работы с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner или аналогичные).
- Опыт работы с различными солверами (COBYLA, Ipopt и другие), понимание принципов их работы (сильные и слабые стороны).
- Опыт линеаризации задач, постановка целевой функции и ограничений.
- Опыт постановки задачи, разбиение на подзадачи.
Условия работы:
- Удалённый формат работы.
- Полная занятость.
- Оформление по ИП, СМЗ.
- Оплата 3500 - 4500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: @Dmitriy_Ptolemay
#работа#удаленнаяработа#вакансия#Dataengineer#Дата_инженер#middle#инженер#DA
Позиция: Data-инженер
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 160 000 – 190 000 к
Обязанности:
Оптимизация обработки данных в GreenPlum для сокращения времени выполнения запросов;
Проектирование и поддержка хранилищ данных в GreenPlum;
Разработка и поддержка dbt-моделей;
Проведение code review, участие в интервью для найма сотрудников.
Обязательные требования:
Опыт работы в роли Data Engineer/Data analytic от 3 лет;
Глубокие знания SQL;
Опыт работы с GreenPlum;
Опыт построения и оптимизации ETL-процессов;
Умение проводить code review и работать в команде;
Понимание принципов Agile (Scrum, Kanban) и опыт работы с Jira/Trello;
Английский язык на уровне чтения технической документации.
Желательные требования:
Опыт миграции данных из SAS в GreenPlum;
Опыт работы с dbt;
Понимание методологий проектирования хранилищ данных (Data Vault, Anchor modelling).
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
#вакансия#remote#middle#de#da#etl#postgresql#clickhouse#dbt
Компания Excdev в поиске Middle Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки.
Задачи:
- Разработка хранилищ данных, витрин данных;
- Проектирование, разработка и поддержка ETL-процессов;
- Разработка визуализации данных и отчетности;
- Контроль качества загружаемых данных;
- Интеграция новых источников;
Вы идеальны, если:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи в тг: @valenti_sh
D-d大d鱼y海h棠t- 大鱼海棠 (2016)
直达链接：https://pan.quark.cn/s/9c244ba2b42a
#大鱼海棠#大鱼·海棠
#大海#大·海#Da Hai
#Big Fish & Begonia
#Big Fish & Chinese Flowering Crabapple
链接：https://link3.cc/sf_com
#电影#爱情#内地#10年代