Поговорим про ML.
Пару дней назад вышла новость о том, что в продажу поступила первая русскоязычная книга, половину текста в которой написала нейросеть ruGPT-3. А до этого вы все наверняка натыкались на очень яркие записи про Dalle и Imagen, где нейросеть по описанию рисует картинку, и получается очень любопытно.
Такими темпами скоро нейросети превратятся в крипту: высокотехнологичную вещь, о которой, однако, в среде приличных технарей лучше не упоминать. Потому что то, каким образом это используется, и то, какой образ этому создают в массах, расходится не только с реальностью, но и с определённым уровнем вменяемости.
Кстати, ML ещё и может ярко демонстрировать эффект Даннинга-Крюгера. Мем про "Ты чё, пёс, я математик!" нифига не шутка. Человек может считать себя крутым программистом, если научился комбинировать чужие библиотеки на питоне. Хотя на самом деле простейшую практическую задачу решить не способен -- я с такими сталкивался лично. ML-щики вообще пихают свои нейросети куда ни попадя, считая, что это волшебная таблетка и швейцарский нож для любых ситуаций. Мне рассказывали случай, когда на хакатоне по работе с данными выиграл человек, который просто аккуратно вручную подобрал нужные зависимости в Excel :)
Глобально же нейросетями пытаются решать три вида задач:
1. Информации в вопросе много, а в ответе нужно мало. Например, распознавание образов и символов. Подбор значений каких-нибудь коэффициентов. Приложение "Хотдог или не хотдог" из сериала Кремниевая Долина. Обычно нейросети справляются с таким очень хорошо. Рукописный ввод распознают шикарно, по фото могут назвать породу собаки, математические формулы читают. Но важно понимать, что под капотом даже у такой нейросети не возникает никаких понятных вам символов. Например, при распознавании рукописного ввода случайный набор пикселей, не имеющий для человека смысла, может быть с той же степенью уверенности интерпретирован нейросетью, как совершенно чёткая буква А. Просто мы на такой случайный набор не попадаем почти всегда, и поэтому всё ок.
2. Информации в вопросе средне, и в ответе нужно средне. Как правило, это предсказание, восстановление недостающих данных, улучшение качества фото, раскрашивание ч/б. С такими задачами нейросети справляются уже средненько. Улучшенный нейросетью снимок сразу видно. Предсказание лишь ненамного точнее, чем случайный выбор. Польза в том, что в обращении такие сети просты, а результат всё-таки дают. Но не стоит их переоценивать. Например, сюда можно отнести задачу суммаризации текста (по большому объёму текстов тебе печатают выжимку). Мои товарищи в одном чате несколько дней игрались с ботом-суммаризатором, и в основном половина написанных им фраз это просто мусор и ерунда для ржача. Но в другой половине всё-таки какой-то совсем небольшой смысл проглядывался. Недостаточный для того, чтобы задалбывать этим ботом участников чата (привет, ребята :) ), но не абсолютный рандом.
3. Информации в вопросе мало, а в ответе нужно много. Это генерация данных: вот как раз написание текстов, составление рисунков, логотипов и так далее. Так вот, по моему скромному, но всё-таки хоть немного компетентному мнению, в таких вопросах нейросети выдают полную херню. И хвалёная логотипная нейросетка Лебедева — тоже полная херня. И распиаренная GPT ничего толкового не пишет. Когда читаешь примеры в новостях-анонсах, сразу думаешь: "Вау, как круто!". Но когда пробуешь сам: ruGPT-3 по уровню осмысленности где-то чуть ниже "Яндекс.Рефератов", если помните такой сервис и суть его работы. Я не знаю, будут ли сети по созданию изображений работать так круто (сейчас доступа к ним ни у кого нет), но книга в соавторстве с человеком стала возможна только по той причине, что в качестве человека взяли Павла Пепперштейна, который берёт случайные комбинации словосочетаний и выдаёт это за литературу.
Поверьте: человечество пока что в безопасности касательно захвата машинами.
#dev
#вакансия#DA#analyst#remote#fulltime
Вакансия: Middle Data Analyst
Формат: Удаленный
Занятость: Полная
Локация: РФ, РБ
Оплата: 3000 - 4000$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем MiddleData Analyst для аустафф-проекта в сфере ритейла.
Задачи:
- Собирать и анализировать данные из различных источников, включая обработку и очистку данных для обеспечения их качества и надежности.
- Создавать интерактивные отчеты и дашборды (matplotlib, seaborn, Power BI, Tableau).
- Анализировать бизнес-процессы, выявлять узкие места и разрабатывать предложения по их оптимизации.
- Разрабатывать и внедрять новые продукты и решения, основанные на анализе данных, с оценкой их влияния на бизнес-показатели.
- Проводить A/B тесты, включая планирование, анализ и интерпретацию результатов.
- Писать скрипты и настраивать процессы для извлечения, трансформации и загрузки данных (ETL), создавать и поддерживать аналитические витрины данных.
Требования:
- Опыт работы аналитиком данных от 3 лет.
- Опыт общения с бизнес-заказчиками.
- Уверенное знание Python и SQL.
- Опыт работы с библиотеками визуализации данных (matplotlib, seaborn и пр.).
- Опыт анализа/изменения бизнес-процессов.
- Опыт внедрения/изменения продуктов, основанных на данных.
Будет плюсом:
- Опыт проведения А/В тестов и оценки их результатов.
- Опыт написания ETL-процессов/создания витрин данных.
- Что-нибудь из: docker, git, airflow, nifi, kafka, командная строка Linux.
- Опыт работы с BI-инструментами (Power BI, Tableau)
- Опыт сбора, составления и согласования функциональных требований к продукту.
Условия:
- Удалённый формат работы.
- Гибкий график.
- Полная занятость.
- Оформление по ИП.
- Возможность роста и развития в крупной компании.
- Оплата 3000 - 4000$ net по результатам собеседования.
Буду рада ответить на вопросы и ознакомиться с резюме: @rinapina_ptolemay
#вакансия#vacancy#DA#analyst#senior#remote#fulltime#optimization
Вакансия: Middle+/Senior Data Analyst (с опытом в оптимизационных задачах)
Формат: Удалённый
Занятость: Полная
Оплата: 3500 - 4500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем ML Engineer для аутстафф-проекта в сфере металлургии.
Обязанности:
- Разрабатывать и внедрять алгоритмы оптимизации для объемно-календарного планирования.
- Осуществлять постановку и решение задач LP, NLP, определять целевые функции и ограничения.
- Автоматизировать планирование в промышленности или смежных областях.
- Работать с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner) и солверами (COBYLA, Ipopt и др.).
Требования:
- Опыт работы по функциональному направлению от 4-х лет.
- Знание языков программирования Python либо Java.
- Знание основных типов оптимизационных задач (LP, NLP и т.д.).
- Опыт работы с пакетами оптимизации (SciPy, Pyomo, CVXPY, OptaPlanner или аналогичные).
- Опыт работы с различными солверами (COBYLA, Ipopt и другие), понимание принципов их работы (сильные и слабые стороны).
- Опыт линеаризации задач, постановка целевой функции и ограничений.
- Опыт постановки задачи, разбиение на подзадачи.
Условия работы:
- Удалённый формат работы.
- Полная занятость.
- Оформление по ИП, СМЗ.
- Оплата 3500 - 4500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: @Dmitriy_Ptolemay
#работа#удаленнаяработа#вакансия#Dataengineer#Дата_инженер#middle#инженер#DA
Позиция: Data-инженер
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 160 000 – 190 000 к
Обязанности:
Оптимизация обработки данных в GreenPlum для сокращения времени выполнения запросов;
Проектирование и поддержка хранилищ данных в GreenPlum;
Разработка и поддержка dbt-моделей;
Проведение code review, участие в интервью для найма сотрудников.
Обязательные требования:
Опыт работы в роли Data Engineer/Data analytic от 3 лет;
Глубокие знания SQL;
Опыт работы с GreenPlum;
Опыт построения и оптимизации ETL-процессов;
Умение проводить code review и работать в команде;
Понимание принципов Agile (Scrum, Kanban) и опыт работы с Jira/Trello;
Английский язык на уровне чтения технической документации.
Желательные требования:
Опыт миграции данных из SAS в GreenPlum;
Опыт работы с dbt;
Понимание методологий проектирования хранилищ данных (Data Vault, Anchor modelling).
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
#вакансия#remote#middle#de#da#etl#postgresql#clickhouse#dbt
Компания Excdev в поиске Middle Data Engineer/Data Analyst
Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки.
Задачи:
- Разработка хранилищ данных, витрин данных;
- Проектирование, разработка и поддержка ETL-процессов;
- Разработка визуализации данных и отчетности;
- Контроль качества загружаемых данных;
- Интеграция новых источников;
Вы идеальны, если:
- Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области)
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов
- Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre
- Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности
- Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п.
Будет огромным плюсом:
- Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными.
- Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п.
- Опыт работы с Tableau, Google Looker или подобных им.
Контакт для связи в тг: @valenti_sh
D-d大d鱼y海h棠t- 大鱼海棠 (2016)
直达链接：https://pan.quark.cn/s/9c244ba2b42a
#大鱼海棠#大鱼·海棠
#大海#大·海#Da Hai
#Big Fish & Begonia
#Big Fish & Chinese Flowering Crabapple
链接：https://link3.cc/sf_com
#电影#爱情#内地#10年代