В общем, была задача на оптимизацию плана работ: есть набор заказов, и в каждом N тасков. Таски могут зависеть друг от друга или нет, имеют длительность и тип. Ещё есть M работников, каждый из которых может выполнять таски только определённых типов, причём, у каждого своя скорость.
Если все таски в заказе выполнены, фирма получает сколько-то денег. У заказа есть дедлайн, за просрочку штраф (за каждый день просрочки), который вычитается из цены заказа. И ещё фирма тратит деньги за каждый день своей работы независимо от того, как загружены её сотрудники (то есть просто платит зарплаты по сути). Ещё важен учёт праздников и выходных.
Нужно заработать на определённом наборе заказов и работников как можно больше денег. Полный текст задачи и код программы проверки есть в репозитории. Эта задача является изменённым заказом, который мы с напарником решали в реальной жизни: оптимизация работы печатных станков для типографии. Правда, тогда и мы справились так себе, и заказчик в итоге сначала захотел всё вручную сам делать, а потом и вовсе похоронил проект при смене директора.
!!! Не читайте дальше, если хотите сначала попробовать решить самостоятельно, потому что я сейчас опишу эффективные подходы и результаты.
________________________________________
Так вот. Мы с другим экспертом Андреем сразу сели и написали разные варианты, чтобы задать шкалу, по которой будем оценивать решения команд. За пару часов я собрал примитивный жадный алгоритм, который сортировал заказы по прибыльности и укладывал в сетку кое-как, это дало нам нижнюю оценку. Мой алгоритм заработал ~75 млн виртуальных рублей, мы решили для оценки поставить нижней границей 40 млн. То есть всё, что ещё ниже, оценивалось в ноль баллов за качество оптимизации.
Затем Андрей закрылся дома на три дня и вышел на свет со сложным жадным алгоритмом, который очень хитро сортировал заказы и очень хитро укладывал их в сетку, попутно выбирая разные способы этой укладки в зависимости от конкретного заказа. Это позволило заработать ~275 млн рублей. Мы сделали верхней границей для оценки 280 млн.
К сожалению, в итоге только две команды из десяти прошли нижнюю границу, заработав, соответственно, ~91 и ~105 млн. К верхней границе не приблизился никто. И у четырёх команд алгоритм вообще не смог уложить без нарушений задачи в сетку (то есть, например, произвольно менял длительности, накладывал задачи друг на друга, давал одному работнику две задачи в один момент и так далее). Важной ошибкой команд, на мой взгляд, являлся тот факт, что никто не воспользовался возможностью запустить алгоритм на несколько минут и дать ему поработать. По условиям задания, можно было тянуть до 5 минут на одну оптимизацию, но по факту решения команд отрабатывали за единицы и десятки секунд.
На самом конкурсе, пока команды работали, я решил попробовать сделать быстрое (по времени написания) но эффективное решение. Сначала попробовал жадную сортировку + доведение до лучшего варианта методом имитации отжига. В качестве нового состояния я просто менял местами заказы целиком. Этот вариант работал пару минут и дал мне около ~200 млн дохода. К слову, команда-лидер использовала такой же подход, просто не докрутила число итераций и температуру.
Ну и потом я взял готовую либу по реализации классической генетики с особями и скрещиванием. Особью был массив с приоритетами заказов (которые конечно же нужно было аккуратно уложить чистым алгоритмом). Тип скрещивания: scattered. Всего 15 поколений по 20 особей, и это за минуту-полторы давало ~230-240 млн. Считаю, что для конкурса это самый лучший выбор: пишется одним человеком за день и даёт почти максимум, при этом легко настраивается на нужную длительность работы, легко параллелится.
Ну а потом уже дома я посидел и накодил свой вариант сложного жадного с плавающим окном перебора отсортированных заказов и плавающей же укладкой по работникам. Такая штука за две минуты зарабатывает ~281 млн. Но за три дня в условиях стресса я бы такое не сделал, скорее всего.
#dev
💻 Книга "Мониторинг PostgreSQL".
• Эта книга всесторонне охватывает обширную тему мониторинга, соединяя в себе справочные материалы об имеющемся инструментарии, практические приемы его использования и способы интерпретации полученных данных. Знание внутреннего устройства PostgreSQL и особенностей мониторинга, почерпнутое из этой книги, поможет в долгосрочной перспективе эффективно эксплуатировать СУБД и успешно решать возникающие задачи. Книга предназначена для администраторов баз данных, системных администраторов, специалистов по надежности.
- Глава 1. Обзор статистики;
- Глава 2. Статистика активности;
- Глава 3. Выполнение запросов и функций;
- Глава 4. Базы данных;
- Глава 5. Область общей памяти и ввод-вывод;
- Глава 6. Журнал упреждающей записи;
- Глава 7. Репликация;
- Глава 8. Очистка;
- Глава 9. Ход выполнения операций;
- Приложение. Тестовое окружение.
➡Скачать книгу.
#PostgreSQL
👩💻Бесплатный мини-курс: PostgreSQL для новичков.
• Достаточно хороший и бесплатный курс от Selectel, если хотите погрузиться в мир PostgreSQL. В этом курсе говориться про установку и настройку базы данных PostgreSQL, как ими управлять, организовать резервное копирование и репликацию. А главное — что делать, если администрировать самим БД не хочется.
- Подойдет ли PostgreSQL вообще всем проектам или нужны альтернативы;
- Установка и использование PostgreSQL в Ubuntu 22.04;
- Как настроить репликацию в PostgreSQL;
- Резервное копирование и восстановление PostgreSQL: pg_dump, pg_restore, wal-g;
- Установка и настройка PostgreSQL в Docker;
- Установка пулера соединений PgBouncer для PostgreSQL;
- Популярные расширения для PostgreSQL: как установить и для чего использовать;
- Как создать пользователя в PostgreSQL;
- Как узнать версию PostgreSQL;
- DBaaS: что такое облачные базы данных;
- Как работают облачные базы данных PostgreSQL;
- Как начать работу с облачной базой данных PostgreSQL;
- 8 книг по PostgreSQL для новичков и профессионалов;
- Морской бой на PostgreSQL.
#PostgreSQL
👩💻 PostgreSQL 16 изнутри.
• Компания Postgres Professional разместила в свободном доступе книгу "PostgreSQL 16 изнутри" (PDF, 665 стр.). В книге детально рассматривается устройство СУБД PostgreSQL. Книга будет полезной администраторам и разработчикам, желающим разобраться во внутреннем устройстве PostgreSQL, а также тем, кто хорошо знаком с устройством другой СУБД, но переходит на PostgreSQL и хочет разобраться в отличиях.
• Здесь вы не найдете готовых рецептов. Ведь на все случаи жизни их все равно не хватит, а понимание внутренней механики позволяет критически переосмысливать чужой опыт и делать собственные выводы. Именно поэтому автор объясняет, как что устроено, возможно даже более подробно, чем на первый взгляд может показаться практичным.
• Большая часть сведений будет актуальна еще довольно долго. Обдумывайте, экспериментируйте, проверяйте. В PostgreSQL для этого есть все инструменты, и автор старался показать, как ими пользоваться.
• Часть I. Изоляция и многоверсионность:
- Изоляция;
- Страницы и версии строк;
- Снимки данных;
- Внутристраничная очистка и hot-обновления;
- Очистка и автоочистка;
- Заморозка;
- Перестроение таблиц и индексов.
• Часть II. Буферный кеш и журнал:
- Буферный кеш;
- Журнал предзаписи;
- Режимы журнала.
• Часть III. Блокировки:
- Блокировки отношений;
- Блокировки строк;
- Блокировки разных объектов;
- Блокировки в памяти.
• Часть IV. Выполнение запросов:
- Этапы выполнения запросов;
- Статистика;
- Табличные методы доступа;
- Индексные методы доступа;
- Индексное сканирование;
- Вложенный цикл;
- Хеширование;
- Сортировка и слияние.
• Часть V. Типы индексов:
- Хеш-индекс;
- B-дерево;
- Индекс GiST;
- Индекс SP-GiST;
- Индекс GIN;
- Индекс BRIN.
➡️Скачать книгу.
#PostgreSQL
⚙️ PostgreSQL Database Security Assessment Tool.
• PGDSAT — инструмент для анализа безопасности PostgreSQL сервера. По факту работы данного инструмента мы получим объемный отчет с оценкой безопасности. Пример отчета можно посмотреть тут: https://www.darold.net/sample_pgdsat/report.html
➡️ Более подробное описание инструмента доступно на github: https://github.com/HexaCluster/pgdsat
#PostgreSQL
💻 90+ советов по работе с PostgreSQL.
• Список практических советов по работе с PostgreSQL от специалиста с 20-летним стажем. Ну и не забывайте про дополнительный материал по хэштегам, если Вам интересна какая-либо из тем.
➡️https://gitlab.com/postgres-ai/postgresql-consulting/postgres-howtos/
#PostgreSQL
💻 Postgres playground. Enhance your Postgres skills.
• Если Вы давно хотели прокачаться в PostgreSQL, то держите отличный ресурс для тренировок. Тут можно найти уроки, примеры команд и их описание, терминал, а так же куча другой полезной информации.
➡️https://www.crunchydata.com/developers/tutorials
#PostgreSQL
😟 О скрытых сообщениях в эмодзи и взломе казначейства США.
• 30 декабря 2024 года, пока большинство людей суетились в преддверии празднования Нового года, Казначейство США готовило для Финансового комитета Сената США важное уведомление. В нём сообщалось, что его системы, которые содержат особо чувствительные конфиденциальные данные, были взломаны группой правительственных хакеров Китая.
• И это ещё не самое безумное. Начнём с того, что это была старая добрая атака посредством внедренияSQL-кода. За защиту серверов казначейства отчасти отвечает инструмент управления привилегированным доступом (Privileged Access Management, PAM) компании Beyond Trust. К сожалению для них, сотрудники Beyond Trust были вынуждены сообщить эту новость правительству, поскольку именно их ПО хакеры использовали в качестве точки входа.
• Но на месте Beyond Trust могла оказаться любой другая компания, так как в основе уязвимости лежит PostgreSQL — одна из самых распространённых реляционных баз данных в мире. Как же так получилось, что в PostgreSQL более 9 лет просидела нераскрытой уязвимость нулевого дня? Причём ещё и уязвимость SQLi.
➡Оригинал.
➡Перевод.
#PostgreSQL#ИБ
#Python#Django#PostgreSQL
🐍
Building Web Applications with Django and PostgreSQL
This course is designed to provide you with a comprehensive understanding of how to develop web applications using the Django web framework in combination with the PostgreSQL database. Django is a popular web framework written in Python that allows developers to build robust and scalable web applications quickly and efficiently, while PostgreSQL is a powerful open-source relational database management system known for its reliability and performance.
📅 4/2023
🔗Link
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
🚨 Researchers found 9 cross-tenant flaws in #Google Looker Studio that could let attackers run arbitrary SQL queries on connected databases and access cloud data.
BigQuery, Sheets, #PostgreSQL, and other connectors were exposed.
🔗 Attack paths and affected services → https://thehackernews.com/2026/03/new-leakylooker-flaws-in-google-looker.html
💻 PostgreSQL. Учебные курсы.
Курсы для администраторов:
• DBA1. Администрирование PostgreSQL. Базовый курс;
• DBA2. Администрирование PostgreSQL. Настройка и мониторинг;
• DBA3. Администрирование PostgreSQL. Резервное копирование и репликация;
• QPT. Оптимизация запросов;
• PGPRO. Возможности Postgres Pro Enterprise.
Курсы для разработчиков приложений:
• DEV1. Разработка серверной части приложений PostgreSQL. Базовый курс;
• DEV2. Разработка серверной части приложений PostgreSQL. Расширенный курс;
• QPT. Оптимизация запросов;
• PGPRO. Возможности Postgres Pro Enterprise.
Курс для разработчиков СУБД:
• Hacking PostgreSQL.
#PostgreSQL#Курс
• Помимо бесплатных книг по изучению СУБД PostgreSQL и языку SQL, которые доступны по этой ссылке, у Postgres Pro есть еще и бесплатные курсы, которые доступны в формате видеоуроков и слайдов.
• Каждая тема курса состоит из теоретической части и практики. Теория состоит не только из презентации, но в большинстве случаев включает демонстрацию работы на «живой» системе. В практической части предлагается выполнить ряд заданий для закрепления пройденного. Материал поделен по темам таким образом, чтобы теоретическая часть не превышала часа, так как большее время значительно усложняет восприятие. Практика, как правило, не превышает 30 минут.
➡️ Все курсы доступны по этой ссылке: https://postgrespro.ru/education/courses
#SQL#PostgreSQL