Впервые сделал крупный проект (под NDA, так что не расскажу, какой) на облачных функциях. Впечатления противоречивые.
Изначально программисты арендовали компьютер в датацентре: или целиком или кусочек. На нём теоретически можно делать что угодно, но для запуска своих программ нужно было настроить операционную систему, безопасность и авторизацию, установить нужные исполнительные модули, программы для удобства деплоя, мониторинг нагрузки итд. Поэтому появились сервисы, которые это всё делают за тебя, а тебе дают буквально окно, куда можно написать свой код и запускать его удалённо на чужой машине.
Конкретно я пользовался решением от Яндекса, чей протокол скопирован напрямую с Amazon Web Services. Причём, в документации не только открыто об этом говорится, но ещё и в некоторых местах перенаправляют на доки от Amazon. И SDK предлагают тоже использовать амазоновский. До санкций я бы сказал, что это не так плохо — можно использовать что-то привычное тем, кто уже работал с Amazon. Но сейчас привязка к американскому сервису выглядит скорее жирным минусом. Не знаю, есть ли у Яндекса ресурсы на какое-то серьёзное разделение. Судя по состоянию документации и платформы в целом — нет.
Yandex Cloud кажется системой, которая активно развивалась несколько лет назад, а сейчас подзаброшена. Среда выполнения .NET отстаёт от актуальной на две версии (3.1 вместо 6, четвёртой версии не существует). Изначально мой проект был написан как обычное контейнеризированное приложение на .NET 6, а потом я переводил его на функции. Пришлось пройтись по всему коду и переписать несовместимые куски с C#10 на C#8, это было не слишком приятно.
Документации фактически нет, а там, где есть, много путаницы. В примерах написано одно, по факту другое: например в функцию вместо объекта Request приходит просто строка, а разбирать её надо самому. Авторизацию я нашёл только на Stackoverflow. Интересно, что адекватных доков про неё не было ни у Яндекса, ни у Amazon.
Функция выполняется и выгружается, поэтому ваша программа не должна рассчитывать на наличие постоянно живущего процесса. Мне пришлось вытащить из неё большой словарь, который грузится при старте, и положить уже подготовленные данные из него в Object Storage — это такое горячее файловое хранилище, там же рядом с функциями. Справедливости ради, работает это всё быстрее, чем я думал. Удалось запихнуть в функции даже сравнительно большой проект с кучей классов, создающий при запуске несколько десятков объектов и производящий загрузку из сети с декомпрессией.
Другой важный плюс — бесплатная квота довольно внушительная: миллион вызовов и 10Гб*часов оперативной памяти в месяц. Для пет проекта вы сможете вообще не покупать сервер. Но если сервер у вас всё-таки есть, деплой вы уже настроили, то удобнее будет, конечно, делать как привычно. И гибкости больше.
#dev
#вакансия#DA#analyst#remote#fulltime
Вакансия: Middle Data Analyst
Формат: Удаленный
Занятость: Полная
Локация: РФ, РБ
Оплата: 3000 - 4000$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем MiddleData Analyst для аустафф-проекта в сфере ритейла.
Задачи:
- Собирать и анализировать данные из различных источников, включая обработку и очистку данных для обеспечения их качества и надежности.
- Создавать интерактивные отчеты и дашборды (matplotlib, seaborn, Power BI, Tableau).
- Анализировать бизнес-процессы, выявлять узкие места и разрабатывать предложения по их оптимизации.
- Разрабатывать и внедрять новые продукты и решения, основанные на анализе данных, с оценкой их влияния на бизнес-показатели.
- Проводить A/B тесты, включая планирование, анализ и интерпретацию результатов.
- Писать скрипты и настраивать процессы для извлечения, трансформации и загрузки данных (ETL), создавать и поддерживать аналитические витрины данных.
Требования:
- Опыт работы аналитиком данных от 3 лет.
- Опыт общения с бизнес-заказчиками.
- Уверенное знание Python и SQL.
- Опыт работы с библиотеками визуализации данных (matplotlib, seaborn и пр.).
- Опыт анализа/изменения бизнес-процессов.
- Опыт внедрения/изменения продуктов, основанных на данных.
Будет плюсом:
- Опыт проведения А/В тестов и оценки их результатов.
- Опыт написания ETL-процессов/создания витрин данных.
- Что-нибудь из: docker, git, airflow, nifi, kafka, командная строка Linux.
- Опыт работы с BI-инструментами (Power BI, Tableau)
- Опыт сбора, составления и согласования функциональных требований к продукту.
Условия:
- Удалённый формат работы.
- Гибкий график.
- Полная занятость.
- Оформление по ИП.
- Возможность роста и развития в крупной компании.
- Оплата 3000 - 4000$ net по результатам собеседования.
Буду рада ответить на вопросы и ознакомиться с резюме: @rinapina_ptolemay
#вакансия#vacancy#DA#analyst#senior#remote#fulltime#optimization
Вакансия: Middle+/Senior Data Analyst (с опытом в оптимизационных задачах)
Формат: Удалённый
Занятость: Полная
Оплата: 3500 - 4500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем ML Engineer для аутстафф-проекта в сфере металлургии.
Обязанности:
- Разрабатывать и внедрять алгоритмы оптимизации для объемно-календарного планирования.
- Осуществлять постановку и решение задач LP, NLP, определять целевые функции и ограничения.
- Автоматизировать планирование в промышленности или смежных областях.
- Работать с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner) и солверами (COBYLA, Ipopt и др.).
Требования:
- Опыт работы по функциональному направлению от 4-х лет.
- Знание языков программирования Python либо Java.
- Знание основных типов оптимизационных задач (LP, NLP и т.д.).
- Опыт работы с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner или аналогичные).
- Опыт работы с различными солверами (COBYLA, Ipopt и другие), понимание принципов их работы (сильные и слабые стороны).
- Опыт линеаризации задач, постановка целевой функции и ограничений.
- Опыт постановки задачи, разбиение на подзадачи.
Условия работы:
- Удалённый формат работы.
- Полная занятость.
- Оформление по ИП, СМЗ.
- Оплата 3500 - 4500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: @Dmitriy_Ptolemay
#работа#удаленнаяработа#вакансия#Dataengineer#Дата_инженер#middle#инженер#DA
Позиция: Data-инженер
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 160 000 – 190 000 к
Обязанности:
Оптимизация обработки данных в GreenPlum для сокращения времени выполнения запросов;
Проектирование и поддержка хранилищ данных в GreenPlum;
Разработка и поддержка dbt-моделей;
Проведение code review, участие в интервью для найма сотрудников.
Обязательные требования:
Опыт работы в роли Data Engineer/Data analytic от 3 лет;
Глубокие знания SQL;
Опыт работы с GreenPlum;
Опыт построения и оптимизации ETL-процессов;
Умение проводить code review и работать в команде;
Понимание принципов Agile (Scrum, Kanban) и опыт работы с Jira/Trello;
Английский язык на уровне чтения технической документации.
Желательные требования:
Опыт миграции данных из SAS в GreenPlum;
Опыт работы с dbt;
Понимание методологий проектирования хранилищ данных (Data Vault, Anchor modelling).
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
#вакансия#remote#middle#de#da#etl#postgresql#clickhouse#dbt
Компания Excdev в поиске Middle Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки.
Задачи:
- Разработка хранилищ данных, витрин данных;
- Проектирование, разработка и поддержка ETL-процессов;
- Разработка визуализации данных и отчетности;
- Контроль качества загружаемых данных;
- Интеграция новых источников;
Вы идеальны, если:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи в тг: @valenti_sh
D-d大d鱼y海h棠t- 大鱼海棠 (2016)
直达链接：https://pan.quark.cn/s/9c244ba2b42a
#大鱼海棠#大鱼·海棠
#大海#大·海#Da Hai
#Big Fish & Begonia
#Big Fish & Chinese Flowering Crabapple
链接：https://link3.cc/sf_com
#电影#爱情#内地#10年代