TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1084 · 9.04

В общем, была задача на оптимизацию плана работ: есть набор заказов, и в каждом N тасков. Таски могут зависеть друг от друга или нет, имеют длительность и тип. Ещё есть M работников, каждый из которых может выполнять таски только определённых типов, причём, у каждого своя скорость. Если все таски в заказе выполнены, фирма получает сколько-то денег. У заказа есть дедлайн, за просрочку штраф (за каждый день просрочки), который вычитается из цены заказа. И ещё фирма тратит деньги за каждый день своей работы независимо от того, как загружены её сотрудники (то есть просто платит зарплаты по сути). Ещё важен учёт праздников и выходных. Нужно заработать на определённом наборе заказов и работников как можно больше денег. Полный текст задачи и код программы проверки есть в репозитории. Эта задача является изменённым заказом, который мы с напарником решали в реальной жизни: оптимизация работы печатных станков для типографии. Правда, тогда и мы справились так себе, и заказчик в итоге сначала захотел всё вручную сам делать, а потом и вовсе похоронил проект при смене директора. !!! Не читайте дальше, если хотите сначала попробовать решить самостоятельно, потому что я сейчас опишу эффективные подходы и результаты. ________________________________________ Так вот. Мы с другим экспертом Андреем сразу сели и написали разные варианты, чтобы задать шкалу, по которой будем оценивать решения команд. За пару часов я собрал примитивный жадный алгоритм, который сортировал заказы по прибыльности и укладывал в сетку кое-как, это дало нам нижнюю оценку. Мой алгоритм заработал ~75 млн виртуальных рублей, мы решили для оценки поставить нижней границей 40 млн. То есть всё, что ещё ниже, оценивалось в ноль баллов за качество оптимизации. Затем Андрей закрылся дома на три дня и вышел на свет со сложным жадным алгоритмом, который очень хитро сортировал заказы и очень хитро укладывал их в сетку, попутно выбирая разные способы этой укладки в зависимости от конкретного заказа. Это позволило заработать ~275 млн рублей. Мы сделали верхней границей для оценки 280 млн. К сожалению, в итоге только две команды из десяти прошли нижнюю границу, заработав, соответственно, ~91 и ~105 млн. К верхней границе не приблизился никто. И у четырёх команд алгоритм вообще не смог уложить без нарушений задачи в сетку (то есть, например, произвольно менял длительности, накладывал задачи друг на друга, давал одному работнику две задачи в один момент и так далее). Важной ошибкой команд, на мой взгляд, являлся тот факт, что никто не воспользовался возможностью запустить алгоритм на несколько минут и дать ему поработать. По условиям задания, можно было тянуть до 5 минут на одну оптимизацию, но по факту решения команд отрабатывали за единицы и десятки секунд. На самом конкурсе, пока команды работали, я решил попробовать сделать быстрое (по времени написания) но эффективное решение. Сначала попробовал жадную сортировку + доведение до лучшего варианта методом имитации отжига. В качестве нового состояния я просто менял местами заказы целиком. Этот вариант работал пару минут и дал мне около ~200 млн дохода. К слову, команда-лидер использовала такой же подход, просто не докрутила число итераций и температуру. Ну и потом я взял готовую либу по реализации классической генетики с особями и скрещиванием. Особью был массив с приоритетами заказов (которые конечно же нужно было аккуратно уложить чистым алгоритмом). Тип скрещивания: scattered. Всего 15 поколений по 20 особей, и это за минуту-полторы давало ~230-240 млн. Считаю, что для конкурса это самый лучший выбор: пишется одним человеком за день и даёт почти максимум, при этом легко настраивается на нужную длительность работы, легко параллелится. Ну а потом уже дома я посидел и накодил свой вариант сложного жадного с плавающим окном перебора отсортированных заказов и плавающей же укладкой по работникам. Такая штука за две минуты зарабатывает ~281 млн. Но за три дня в условиях стресса я бы такое не сделал, скорее всего. #dev

Hashtags

Резултати

Намерени 25 подобни публикации

Търсене: #spark

当前筛选 #spark清除筛选
SpotOnChain | Announcement

@spotonchain · Post #886 · 01.07.2024 г., 01:39

A massive whale (probably Abraxas Capital) has withdrawn 60K $ETH ($203M) from #Bitfinex at ~$3,387 in the past 17 hours. The whale then lent $ETH to #Spark to borrow $119M in stablecoins and deposited it to #Binance. The $ETH price is up by 3% (17H), suggesting a $6.27M unrealized profit. Follow @spotonchain and set alerts for the whale via https://platform.spotonchain.ai/en/profile?address=0xEd0C6079229E2d407672a117c22b62064f4a4312

Chevrolet Uzbekistan

@chevroletUzbekistan · Post #7 · 04.03.2022 г., 06:11

Chevrolet Spark – besh eshikli ixcham xetchbek.😊😍 U yorqin, dinamik dizaynni o'zida ifodalab, yuqori sifatli salon (interyer) hamda zamonaviy texnik komponentlarni birlashtiradi. Kam yoqilg'i sarfi, manervlar va boshqa avtomobillar sig’a olmaydigan to’xtash joylariga kichik gabaritlari bilan to’xtay oladi.🔝 ——————————————————— Chevrolet Spark – этот пятидверный компактный хэтчбек.😊😍 Он яркий, динамичный, сочетает в себе выразительный дизайн, качественный салон и современную техническую составляющую. Малый расход топлива, маневренность и малые габариты, возможность парковаться там, куда другой автомобиль попросту не поместится.🔝 #chevrolet#spark#findnewroads#chevroletuzbekistan

Chevrolet Uzbekistan

@chevroletUzbekistan · Post #27 · 13.04.2022 г., 04:30

Президент номидан совға қилинган Chevrolet Spark автомобили шахмат бўйича 3 карра жаҳон чемпионига чексиз қувонч ва кўтаринкилик бахш этди. __________________________ Подаренный Chevrolet Spark, от имени Президента, принес трёхкратному чемпиону мира по шахматам безграничную радость и отличное настроение. #chevroletuzbekistan#chevrolet#spark#happymomentswithchevrolet

🖼 Trending now: #Spark - TVL rises 12% to $10.03B #Web3#Defi 據 Sentora 數據,Spark(#SPK)總鎖倉量(TVL)月增 12%,突破 100 億美元。 在整體 DeFi 市場波動中仍保持穩定成長,自 2 月以來增勢持續強勁 #Insight @EthereumGlobalNews Follow for more global Web3 & DeFi updates!

djangoproject

@djangoproject · Post #503 · 26.11.2017 г., 20:45

https://datascienceplus.com/analyzing-the-bible-and-the-quran-using-spark/ Analyzing the #Bible and the #Quran using #Spark Most of the data out there are unstructured, and Spark is an excellent tool for analyzing this type of data. Here, we will analyze the Bible and the Quran. We will see the distribution of words, the most common words in both scriptures and the average frequency. This could also be scaled to find the most common words and distribution of all words on the Internet. The books have been retrieved from Project Gutenberg. The Bible can be downloaded from here and the Quran from here.

Data Science Jobs

@datasciencejobs · Post #2847 · 05.08.2025 г., 12:04

#вакансии#dataengineer#Spark#Scala3#Jenkins Ищем Инженера по инфраструктуре на курс по Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Задача: Собрать Jupyter Notebook с ядром Scala, который может: • запускать код прямо из тетрадки, • обращаться к реальному Hadoop-кластеру (чтение, запись, обработка данных). Курс ведётся в формате: преподаватель идёт по тетрадке, рассказывает теорию и показывает практику на реальных данных в кластере. Формат занятости: проектная работа (один проект) Оплата: 50 000 ₽ Резюме и рекомендации можно кидать сюда: @KaterinkaGl

Elena Basile Public Channel

@elenabasilepublicchanel · Post #207 · 29.01.2025 г., 10:45

Riposto questo annuncio Per gli amici di Napoli Spero che interverrete Si parlerà del libro ma anche dell' Europa Di letteratura e politica “Frammenti di Bruxelles”, alla libreria The Spark il libro di Elena Basile La presentazione nei locali di piazza Bovio venerdì alle 18 28 GENNAIO 2025 ALLE 21:26 1 MINUTI DI LETTURA Venerdì 31 gennaio, alle ore 18:00, Elena Basile, nota giornalista ed ex diplomatica, sarà ospite presso la libreria Mondadori The #Spark di piazza Bovio, per presentare il suo ultimo libro dal titolo “#FrammentidiBruxelles” pubblicato da #SandroTetiEditore. Una brillante raccolta di racconti, che tratteggia con pungente ironia quel “villaggio burocratizzato” che è Bruxelles: città approdo, moderna e cosmopolita capitale d’Europa. Elena Basile spazia tra politica, sociologia e costume, esplorando in dieci frammenti di vita quotidiana, il territorio, a volte torbido, delle relazioni umane, l’universo femminile, i paesaggi sonori e sentimentali di una città controversa e speciale, che fa da sfondo a storie piene di umanità con personaggi teneri, amari e indimenticabili. L’autrice dialogherà con Tuna Notarbartolo, giornalista e direttore del “#premioelsa Morante”, e Antonio Parlati, capo del centro di produzione #RaiNapoli.

Data Science Jobs

@datasciencejobs · Post #2991 · 20.10.2025 г., 13:16

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя для уроков и проверки задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. • Проверять домашние задания и давать развернутую обратную связь слушателям. Что мы ждем от кандидата: • От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. • За проверку ДЗ и итогового проекта – до 60т.р. в зависимости от количества человек в группе. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT _____ За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

Data Science Jobs

@datasciencejobs · Post #2789 · 26.06.2025 г., 16:01

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус! Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2695 · 25.04.2025 г., 07:51

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории) Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам: - Structured Streaming - Чтение потоков данных (Kafka, сокеты), - Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций. - Запись обработанных данных в разные целевые хранилища (файлы, базы данных). - Оптимизации: Checkpoints. Caching. Performance tuning. • Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

ПредишнаСтр. 1 от 3Следваща