TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #367 · 30.05

Поговорим про ML. Пару дней назад вышла новость о том, что в продажу поступила первая русскоязычная книга, половину текста в которой написала нейросеть ruGPT-3. А до этого вы все наверняка натыкались на очень яркие записи про Dalle и Imagen, где нейросеть по описанию рисует картинку, и получается очень любопытно. Такими темпами скоро нейросети превратятся в крипту: высокотехнологичную вещь, о которой, однако, в среде приличных технарей лучше не упоминать. Потому что то, каким образом это используется, и то, какой образ этому создают в массах, расходится не только с реальностью, но и с определённым уровнем вменяемости. Кстати, ML ещё и может ярко демонстрировать эффект Даннинга-Крюгера. Мем про "Ты чё, пёс, я математик!" нифига не шутка. Человек может считать себя крутым программистом, если научился комбинировать чужие библиотеки на питоне. Хотя на самом деле простейшую практическую задачу решить не способен -- я с такими сталкивался лично. ML-щики вообще пихают свои нейросети куда ни попадя, считая, что это волшебная таблетка и швейцарский нож для любых ситуаций. Мне рассказывали случай, когда на хакатоне по работе с данными выиграл человек, который просто аккуратно вручную подобрал нужные зависимости в Excel :) Глобально же нейросетями пытаются решать три вида задач: 1. Информации в вопросе много, а в ответе нужно мало. Например, распознавание образов и символов. Подбор значений каких-нибудь коэффициентов. Приложение "Хотдог или не хотдог" из сериала Кремниевая Долина. Обычно нейросети справляются с таким очень хорошо. Рукописный ввод распознают шикарно, по фото могут назвать породу собаки, математические формулы читают. Но важно понимать, что под капотом даже у такой нейросети не возникает никаких понятных вам символов. Например, при распознавании рукописного ввода случайный набор пикселей, не имеющий для человека смысла, может быть с той же степенью уверенности интерпретирован нейросетью, как совершенно чёткая буква А. Просто мы на такой случайный набор не попадаем почти всегда, и поэтому всё ок. 2. Информации в вопросе средне, и в ответе нужно средне. Как правило, это предсказание, восстановление недостающих данных, улучшение качества фото, раскрашивание ч/б. С такими задачами нейросети справляются уже средненько. Улучшенный нейросетью снимок сразу видно. Предсказание лишь ненамного точнее, чем случайный выбор. Польза в том, что в обращении такие сети просты, а результат всё-таки дают. Но не стоит их переоценивать. Например, сюда можно отнести задачу суммаризации текста (по большому объёму текстов тебе печатают выжимку). Мои товарищи в одном чате несколько дней игрались с ботом-суммаризатором, и в основном половина написанных им фраз это просто мусор и ерунда для ржача. Но в другой половине всё-таки какой-то совсем небольшой смысл проглядывался. Недостаточный для того, чтобы задалбывать этим ботом участников чата (привет, ребята :) ), но не абсолютный рандом. 3. Информации в вопросе мало, а в ответе нужно много. Это генерация данных: вот как раз написание текстов, составление рисунков, логотипов и так далее. Так вот, по моему скромному, но всё-таки хоть немного компетентному мнению, в таких вопросах нейросети выдают полную херню. И хвалёная логотипная нейросетка Лебедева — тоже полная херня. И распиаренная GPT ничего толкового не пишет. Когда читаешь примеры в новостях-анонсах, сразу думаешь: "Вау, как круто!". Но когда пробуешь сам: ruGPT-3 по уровню осмысленности где-то чуть ниже "Яндекс.Рефератов", если помните такой сервис и суть его работы. Я не знаю, будут ли сети по созданию изображений работать так круто (сейчас доступа к ним ни у кого нет), но книга в соавторстве с человеком стала возможна только по той причине, что в качестве человека взяли Павла Пепперштейна, который берёт случайные комбинации словосочетаний и выдаёт это за литературу. Поверьте: человечество пока что в безопасности касательно захвата машинами. #dev

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #msfabric

当前筛选 #msfabric清除筛选
Data Science Jobs

@datasciencejobs · Post #2587 · 02.03.2025 г., 12:04

Ищем Data Engineer (Middle/Middle+/Senior) в аутстафф-компанию Top Selection для работы над зарубежным ритейл-проектом. Грейд: Senior Название компании: Top Selection Локация: Не важно Часовой пояс: МСК Предметные области: ритейл Формат работы: Удалёнка Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле. Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени. Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами. Обязанности: Ключевые обязанности (MS Fabric): - Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI). - Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory). - Оптимизация хранения и обработки данных в OneLake и Lakehouses. - Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени). - Интеграция с Power BI и построение семантических моделей. - Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse. - Автоматизация CI/CD-конвейеров (Azure GitOps). - Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными. Технологии, с которыми предстоит работать: - Microsoft Fabric: - OneLake (облачное lakehouse-хранилище данных) - Lakehouses (совмещение Data Lake и традиционных DWH) - Data Pipelines (аналог Azure Data Factory) - Synapse Data Warehouse (облачный аналитический движок) - Real-Time Analytics (потоковая обработка данных) - Power BI & Semantic Models (бизнес-аналитика) - KQL (Kusto Query Language) для анализа событий и логов - DevOps & CI/CD: - Azure GitOps, YAML-пайплайны - Автоматизированное развертывание и управление инфраструктурой данных Требования: - Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком). - От 2 лет опыта в data engineering и облачных хранилищах данных. - Глубокие знания SQL, Python, Spark/PySpark, T-SQL. - Опыт оптимизации SQL-запросов и работы с большими объемами данных. - Понимание архитектуры баз данных и lakehouse-концепции. - Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных. Пожелания: Будет плюсом: - Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics). - Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности). - Опыт работы с Delta Lake, Databricks ML. - Оптимизация SQL-запросов и настройка кластера Spark. Сертификации (желательно): - Microsoft Certified: Fabric Analytics Engineer Associate - Microsoft Certified: Azure Data Engineer Associate - Databricks Certified Data Engineer Associate/Professional Контактные данные: @mherchopurian / @datasciencejobs #вакансия#DataEngineer#Middle#MSFabric#Databricks#Удаленно