TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1084 · 9.04

В общем, была задача на оптимизацию плана работ: есть набор заказов, и в каждом N тасков. Таски могут зависеть друг от друга или нет, имеют длительность и тип. Ещё есть M работников, каждый из которых может выполнять таски только определённых типов, причём, у каждого своя скорость. Если все таски в заказе выполнены, фирма получает сколько-то денег. У заказа есть дедлайн, за просрочку штраф (за каждый день просрочки), который вычитается из цены заказа. И ещё фирма тратит деньги за каждый день своей работы независимо от того, как загружены её сотрудники (то есть просто платит зарплаты по сути). Ещё важен учёт праздников и выходных. Нужно заработать на определённом наборе заказов и работников как можно больше денег. Полный текст задачи и код программы проверки есть в репозитории. Эта задача является изменённым заказом, который мы с напарником решали в реальной жизни: оптимизация работы печатных станков для типографии. Правда, тогда и мы справились так себе, и заказчик в итоге сначала захотел всё вручную сам делать, а потом и вовсе похоронил проект при смене директора. !!! Не читайте дальше, если хотите сначала попробовать решить самостоятельно, потому что я сейчас опишу эффективные подходы и результаты. ________________________________________ Так вот. Мы с другим экспертом Андреем сразу сели и написали разные варианты, чтобы задать шкалу, по которой будем оценивать решения команд. За пару часов я собрал примитивный жадный алгоритм, который сортировал заказы по прибыльности и укладывал в сетку кое-как, это дало нам нижнюю оценку. Мой алгоритм заработал ~75 млн виртуальных рублей, мы решили для оценки поставить нижней границей 40 млн. То есть всё, что ещё ниже, оценивалось в ноль баллов за качество оптимизации. Затем Андрей закрылся дома на три дня и вышел на свет со сложным жадным алгоритмом, который очень хитро сортировал заказы и очень хитро укладывал их в сетку, попутно выбирая разные способы этой укладки в зависимости от конкретного заказа. Это позволило заработать ~275 млн рублей. Мы сделали верхней границей для оценки 280 млн. К сожалению, в итоге только две команды из десяти прошли нижнюю границу, заработав, соответственно, ~91 и ~105 млн. К верхней границе не приблизился никто. И у четырёх команд алгоритм вообще не смог уложить без нарушений задачи в сетку (то есть, например, произвольно менял длительности, накладывал задачи друг на друга, давал одному работнику две задачи в один момент и так далее). Важной ошибкой команд, на мой взгляд, являлся тот факт, что никто не воспользовался возможностью запустить алгоритм на несколько минут и дать ему поработать. По условиям задания, можно было тянуть до 5 минут на одну оптимизацию, но по факту решения команд отрабатывали за единицы и десятки секунд. На самом конкурсе, пока команды работали, я решил попробовать сделать быстрое (по времени написания) но эффективное решение. Сначала попробовал жадную сортировку + доведение до лучшего варианта методом имитации отжига. В качестве нового состояния я просто менял местами заказы целиком. Этот вариант работал пару минут и дал мне около ~200 млн дохода. К слову, команда-лидер использовала такой же подход, просто не докрутила число итераций и температуру. Ну и потом я взял готовую либу по реализации классической генетики с особями и скрещиванием. Особью был массив с приоритетами заказов (которые конечно же нужно было аккуратно уложить чистым алгоритмом). Тип скрещивания: scattered. Всего 15 поколений по 20 особей, и это за минуту-полторы давало ~230-240 млн. Считаю, что для конкурса это самый лучший выбор: пишется одним человеком за день и даёт почти максимум, при этом легко настраивается на нужную длительность работы, легко параллелится. Ну а потом уже дома я посидел и накодил свой вариант сложного жадного с плавающим окном перебора отсортированных заказов и плавающей же укладкой по работникам. Такая штука за две минуты зарабатывает ~281 млн. Но за три дня в условиях стресса я бы такое не сделал, скорее всего. #dev

Hashtags

Резултати

Намерени 4 подобни публикации

Търсене: #contractposition

当前筛选 #contractposition清除筛选
Data Science Jobs

@datasciencejobs · Post #2076 · 07.05.2024 г., 17:05

#DataEngineer#ContractPosition#Remote # GCP #ThoughtSpot#BigData#Affinity#Slack#Looker#Snowflake Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для самых внимательных, кто действительно читает описание вакансии: просим откликаться в том случае, если у вас есть полный стек и присылать резюме в формате Word. Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations. Responsibilities: Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies. Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. Automating the process of collecting and visualizing user engagement data from CRM/UI. Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing. Extracting data from the Affinity CRM system, ensuring its correctness and relevance. Integrating notifications into Slack to improve communication within the team. If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake. • Deep experience with data pipeline and workflow management tools (Airflow). • Strong proficiency in SQL and Python • Experience with BigQuery. • experience extracting data out of Affinity CRM and integrate notifications back to Slack • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity • Strong communication skills, both orally and in writing. Nice to have: • BI tool experience on ThoughtSpot (preferred) or Looker • Bachelor's or master's degree in computer science, database management, etc. For those who pay close attention and thoroughly read through job descriptions: please only apply if you possess full-stack capabilities and send your resume in Word format.

Data Science Jobs

@datasciencejobs · Post #1996 · 03.04.2024 г., 08:03

#DataEngineer#ContractPosition#Remote#SQL#BigData#FinancialData#Python#BigQ#Looker#Snowflake Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, BigQ, Python, Looker (нужен full stack) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What you will be doing: As a data engineer, you will report to the head of data and analytics and help create the entire data structure and infrastructure supporting operations. Responsibilities: Design, create, and maintain the data infrastructure necessary for optimal extraction, transformation, and loading of data from various data sources using SQL, NoSQL, and big data technologies. Develop and implement data collection systems that integrate various sources such as company proprietary data and third-party data sources, etc. Create an automated process for collecting and visualizing user engagement data from CRM/UI. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines. • Valid experience with the Google cloud platform (GCP). • Deep experience with data pipeline and workflow management tools (e.g., Airflow). • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity. • Strong proficiency in Python. • Strong proficiency in SQL. • Familiarity with data visualization tools (Looker ). • Experience with Snowflake. • Experience with BigQuery. • Strong communication skills, both orally and in writing. • Familiarity with CRM (Affinity, Salesforce), automation tools (Zapier) Bonus points: • Experience in venture capital data operations/working with financial data. • Familiarity with CRM (Affinity, Salesforce), automation tools (Zapier). • Bachelor's or master's degree in computer science, database management, etc.

Data Science Jobs

@datasciencejobs · Post #2310 · 11.09.2024 г., 13:04

#DataEngineer#ContractPosition#Remote#GCP#Snowflake#dbt#Fintech#API#Airflow#GitHub Разыскивается Data Engineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, минимальное время пересечения – 4 часа. Стек технологий: GCP, Snowflake, dbt, Airflow, GitHub, API/SFTP, Python, SQL. Английский B2 и выше – условие обязательное. Опыт работы в финтех/банковском секторе - условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата: $5000 – 7000 NET. Для самых внимательных, кто действительно читает описание вакансии: • Пожалуйста, откликайтесь только в том случае, если у вас есть необходимый опыт по всему стеку (GCP, Snowflake, dbt, Airflow, GitHub, Python and SQL, API/SFTP), а также опыт работы в финтех/банковском секторе. • Присылайте резюме в формате Word. Спасибо! Для связи: https://t.me/Tary_bird ____________________________________ Description of the Data Engineer contract position: Location: Preferably Pacific Time Zone, with at least 4 hours overlap with working hours. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations in the fintech/banking sector. Responsibilities: • Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, and big data technologies. • Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. • Automating the process of collecting and visualizing user engagement data. • Developing and supporting data processes on the Google Cloud platform and in the Snowflake system for efficient data processing. • Extracting data via API/SFTP and ensuring its correctness and relevance. What we are looking for: Qualifications: • Fintech/Bank working experience (must have). • Minimum 6 years of professional experience as a data engineer/data analyst in the fintech/banking sector. • Deep knowledge of GCP, Snowflake, dbt, Airflow, and GitHub. • Strong proficiency in Python and SQL. • Experience in data intake via API/SFTP. • Attention to detail and strong communication skills, both orally and in writing. Nice to have: • Bachelor's or master's degree in computer science, database management, etc. Please send the completed application form together with your CV. • How many years of experience do you have with Google Cloud Platform (GCP)? • How many years of experience do you have with Snowflake? • How many years of experience do you have with dbt? • How many years of experience do you have with Airflow? • How many years of experience do you have with GitHub? • Do you have experience working with data intake through API/SFTP? If yes, please describe. • How many years of experience do you have with Python? • How many years of experience do you have with SQL? • What salary USD is expected?

Data Science Jobs

@datasciencejobs · Post #2144 · 07.06.2024 г., 06:02

#DataEngineer#ContractPosition#Remote#GCP#ThoughtSpot#BigData#Affinity#Slack#Looker#Snowflake Разыскивается DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!!!) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для самых внимательных, кто действительно читает описание вакансии: просим - откликаться только в том случае, если у вас есть полный стек, - присылать резюме в формате Word. Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations. Responsibilities: Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies. Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. Automating the process of collecting and visualizing user engagement data from CRM/UI. Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing. Extracting data from the Affinity CRM system, ensuring its correctness and relevance. Integrating notifications into Slack to improve communication within the team. If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake. • Deep experience with data pipeline and workflow management tools (Airflow). • Strong proficiency in SQL and Python • Experience with BigQuery. • experience extracting data out of Affinity CRM and integrate notifications back to Slack • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity • Strong communication skills, both orally and in writing.• BI tool experience on ThoughtSpot (preferred) or Looker Nice to have: • Bachelor's or master's degree in computer science, database management, etc.