@cogload · Post #118 · 09.11.2023 г., 07:02
Буду потихоньку тизерить личный проект. Покажу процесс и что в итоге получилось На видео собираю данные 👩💻 #hoith
Hashtags
TGINSIGHT SIMILAR POSTS
Изходен канал @clockstackwheels · Post #1084 · 9.04
В общем, была задача на оптимизацию плана работ: есть набор заказов, и в каждом N тасков. Таски могут зависеть друг от друга или нет, имеют длительность и тип. Ещё есть M работников, каждый из которых может выполнять таски только определённых типов, причём, у каждого своя скорость. Если все таски в заказе выполнены, фирма получает сколько-то денег. У заказа есть дедлайн, за просрочку штраф (за каждый день просрочки), который вычитается из цены заказа. И ещё фирма тратит деньги за каждый день своей работы независимо от того, как загружены её сотрудники (то есть просто платит зарплаты по сути). Ещё важен учёт праздников и выходных. Нужно заработать на определённом наборе заказов и работников как можно больше денег. Полный текст задачи и код программы проверки есть в репозитории. Эта задача является изменённым заказом, который мы с напарником решали в реальной жизни: оптимизация работы печатных станков для типографии. Правда, тогда и мы справились так себе, и заказчик в итоге сначала захотел всё вручную сам делать, а потом и вовсе похоронил проект при смене директора. !!! Не читайте дальше, если хотите сначала попробовать решить самостоятельно, потому что я сейчас опишу эффективные подходы и результаты. ________________________________________ Так вот. Мы с другим экспертом Андреем сразу сели и написали разные варианты, чтобы задать шкалу, по которой будем оценивать решения команд. За пару часов я собрал примитивный жадный алгоритм, который сортировал заказы по прибыльности и укладывал в сетку кое-как, это дало нам нижнюю оценку. Мой алгоритм заработал ~75 млн виртуальных рублей, мы решили для оценки поставить нижней границей 40 млн. То есть всё, что ещё ниже, оценивалось в ноль баллов за качество оптимизации. Затем Андрей закрылся дома на три дня и вышел на свет со сложным жадным алгоритмом, который очень хитро сортировал заказы и очень хитро укладывал их в сетку, попутно выбирая разные способы этой укладки в зависимости от конкретного заказа. Это позволило заработать ~275 млн рублей. Мы сделали верхней границей для оценки 280 млн. К сожалению, в итоге только две команды из десяти прошли нижнюю границу, заработав, соответственно, ~91 и ~105 млн. К верхней границе не приблизился никто. И у четырёх команд алгоритм вообще не смог уложить без нарушений задачи в сетку (то есть, например, произвольно менял длительности, накладывал задачи друг на друга, давал одному работнику две задачи в один момент и так далее). Важной ошибкой команд, на мой взгляд, являлся тот факт, что никто не воспользовался возможностью запустить алгоритм на несколько минут и дать ему поработать. По условиям задания, можно было тянуть до 5 минут на одну оптимизацию, но по факту решения команд отрабатывали за единицы и десятки секунд. На самом конкурсе, пока команды работали, я решил попробовать сделать быстрое (по времени написания) но эффективное решение. Сначала попробовал жадную сортировку + доведение до лучшего варианта методом имитации отжига. В качестве нового состояния я просто менял местами заказы целиком. Этот вариант работал пару минут и дал мне около ~200 млн дохода. К слову, команда-лидер использовала такой же подход, просто не докрутила число итераций и температуру. Ну и потом я взял готовую либу по реализации классической генетики с особями и скрещиванием. Особью был массив с приоритетами заказов (которые конечно же нужно было аккуратно уложить чистым алгоритмом). Тип скрещивания: scattered. Всего 15 поколений по 20 особей, и это за минуту-полторы давало ~230-240 млн. Считаю, что для конкурса это самый лучший выбор: пишется одним человеком за день и даёт почти максимум, при этом легко настраивается на нужную длительность работы, легко параллелится. Ну а потом уже дома я посидел и накодил свой вариант сложного жадного с плавающим окном перебора отсортированных заказов и плавающей же укладкой по работникам. Такая штука за две минуты зарабатывает ~281 млн. Но за три дня в условиях стресса я бы такое не сделал, скорее всего. #dev
Hashtags
Търсене: #hoith
@cogload · Post #118 · 09.11.2023 г., 07:02
Буду потихоньку тизерить личный проект. Покажу процесс и что в итоге получилось На видео собираю данные 👩💻 #hoith
Hashtags
@cogload · Post #125 · 20.11.2023 г., 07:36
Как я влюбился в картографию Хочу поделится проектом, который в свое время зажег во мне интерес к картографии и представлению информации. https://nakarte.me/#m=15/46.46893/8.10358&l=O/Si&r=46.798562/8.231974/Switzerland ↑ Сначала откройте ссылку и полистайте карту Все началось с заметки в блоге Эдварда Тафти про топографический атлас Швейцарсих Альп. На примере этой карты, он объясняет принципы хорошей визуализации: Общие принципы - Фокус на содержании. - Высокое разрешение. - Каждый элемент имеет несет в себе информацию, нет элементов «для красоты». - Видно картину в целом, а детали вписаны в контекст и доступны при необходимости. Детали - Объекты органично вписаны в рельеф, нет нужды во всплывающих окнах. По соседним деталям можно понять размеры рядом стоящих. - Контрастные контурные линии проявляют топографический рельеф гор. Подписи рядом с ними и на пиках сообщают количественную информацию. Цвет - Низкий контраст не создает визуального шума. - Интуитивные цвета, основанные на объектах из природы — белый снег, черные скалы, голубая вода, зеленая растительность. Типографика - Строгая иерархия шрифтов и их насыщенности (см. дополнение в коментах). - Размер шрифта соответствует масштабу объекта — чем больше объект, тем больше шрифт. Почему это круто? Все это вместе создает эффект проявления информации Когда я впервые увидел эту анимацию плавно двигающейся карты — я словил ощущение эйфории и расфокуса — информация как будто сама заливалась мне в глаза и я её моментально понимал. С тех пор, я искал и пробовал делать штуки, которые бы повторили это ощущение. У Тани Мисютиной из лаборатории данных как раз недавно вышла заметка про этот эффект. Очень советую почитать. Ещё Таня рассказывала как книжки Тафти повлияли на неё и вдохновили начать заниматься визуализацией данных. #hoith#любопытство
Hashtags
@cogload · Post #126 · 06.12.2023 г., 17:24
Почему карта возможно не лучший каркас для визуализации данных Продолжаю рассказывать про персональный проект. Как вы могли догадаться речь пойдет про карту. Любые данные — это косвенное отражение того что происходит в реальном мире. Даже спутниковое фото может искажать реальное положение вещей. Что уж говорить о численной статистике, которая была собрана людьми в неидеальных условиях за большой период времени. Если в данных есть графа с местоположением, это не значит что карта — подходящий способ визуализации. Есть даже мем про то что все карты Европы выглядят одинаково Данные никогда не находятся в вакууме и закономерность в статистике может отражать не то, что пытались измерить. Почему же в моем случае карта подходит? Я пытаюсь визуализировать возраст домов. Минимальная частица тут — год, когда были возведены стены фасада (год постройки). В городе домов много, и общие закономерности можно оценить по столбчатой диаграмме — года выстроить по порядку, а высотой столбика показать количество домов построенных в этом году. Но чтобы действительно проявить суть информации — какие исторические слои сохранились до наших дней и как они соотносятся с моим текущим пониманием местности — эти данные нужно нанести на карту города. То есть нужно задать ключевой вопрос: помогает ли визуализация найти новые знания в общем массиве данных, или просто показывает то, что я мог увидеть и в таблице? На выходных я буду рассказывать про проект на Новисадском Митапе. Запись уже закрыта, но если вы в Сербии или поблизости — можете написать организаторам, иногда люди не успевают попасть и открываются свободные места. #hoith#maps
@cogload · Post #128 · 10.12.2023 г., 10:46
Карта возраста домов — ссылки Онлайн версия карты домов Томска. По нажатию открывается карточка дома с доступной информацией https://kontikimaps.ru/how-old/tomsk?p=h-tom Мой рассказ о процессе создания карты https://kontikimaps.ru/how-old/tomsk/process?p Карты других городов https://kontikimaps.ru/how-old/cities?p=h-menu Пост Никиты Славина на Хабре с которого все началось https://habr.com/ru/articles/504216/ Рассказ Александра Качкаева о карте Пензы и написании фреймворка для сбора данных https://kontikimaps.ru/how-old/penza/process?p=h-pnz Сайт издательства Кон Тики https://kontikimaps.ru #hoith#maps#сделал