TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #672 · 28.11

Впервые сделал крупный проект (под NDA, так что не расскажу, какой) на облачных функциях. Впечатления противоречивые. Изначально программисты арендовали компьютер в датацентре: или целиком или кусочек. На нём теоретически можно делать что угодно, но для запуска своих программ нужно было настроить операционную систему, безопасность и авторизацию, установить нужные исполнительные модули, программы для удобства деплоя, мониторинг нагрузки итд. Поэтому появились сервисы, которые это всё делают за тебя, а тебе дают буквально окно, куда можно написать свой код и запускать его удалённо на чужой машине. Конкретно я пользовался решением от Яндекса, чей протокол скопирован напрямую с Amazon Web Services. Причём, в документации не только открыто об этом говорится, но ещё и в некоторых местах перенаправляют на доки от Amazon. И SDK предлагают тоже использовать амазоновский. До санкций я бы сказал, что это не так плохо — можно использовать что-то привычное тем, кто уже работал с Amazon. Но сейчас привязка к американскому сервису выглядит скорее жирным минусом. Не знаю, есть ли у Яндекса ресурсы на какое-то серьёзное разделение. Судя по состоянию документации и платформы в целом — нет. Yandex Cloud кажется системой, которая активно развивалась несколько лет назад, а сейчас подзаброшена. Среда выполнения .NET отстаёт от актуальной на две версии (3.1 вместо 6, четвёртой версии не существует). Изначально мой проект был написан как обычное контейнеризированное приложение на .NET 6, а потом я переводил его на функции. Пришлось пройтись по всему коду и переписать несовместимые куски с C#10 на C#8, это было не слишком приятно. Документации фактически нет, а там, где есть, много путаницы. В примерах написано одно, по факту другое: например в функцию вместо объекта Request приходит просто строка, а разбирать её надо самому. Авторизацию я нашёл только на Stackoverflow. Интересно, что адекватных доков про неё не было ни у Яндекса, ни у Amazon. Функция выполняется и выгружается, поэтому ваша программа не должна рассчитывать на наличие постоянно живущего процесса. Мне пришлось вытащить из неё большой словарь, который грузится при старте, и положить уже подготовленные данные из него в Object Storage — это такое горячее файловое хранилище, там же рядом с функциями. Справедливости ради, работает это всё быстрее, чем я думал. Удалось запихнуть в функции даже сравнительно большой проект с кучей классов, создающий при запуске несколько десятков объектов и производящий загрузку из сети с декомпрессией. Другой важный плюс — бесплатная квота довольно внушительная: миллион вызовов и 10Гб*часов оперативной памяти в месяц. Для пет проекта вы сможете вообще не покупать сервер. Но если сервер у вас всё-таки есть, деплой вы уже настроили, то удобнее будет, конечно, делать как привычно. И гибкости больше. #dev

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #thoughtspot

当前筛选 #thoughtspot清除筛选
Data Science Jobs

@datasciencejobs · Post #2076 · 07.05.2024 г., 17:05

#DataEngineer#ContractPosition#Remote # GCP #ThoughtSpot#BigData#Affinity#Slack#Looker#Snowflake Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для самых внимательных, кто действительно читает описание вакансии: просим откликаться в том случае, если у вас есть полный стек и присылать резюме в формате Word. Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations. Responsibilities: Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies. Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. Automating the process of collecting and visualizing user engagement data from CRM/UI. Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing. Extracting data from the Affinity CRM system, ensuring its correctness and relevance. Integrating notifications into Slack to improve communication within the team. If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake. • Deep experience with data pipeline and workflow management tools (Airflow). • Strong proficiency in SQL and Python • Experience with BigQuery. • experience extracting data out of Affinity CRM and integrate notifications back to Slack • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity • Strong communication skills, both orally and in writing. Nice to have: • BI tool experience on ThoughtSpot (preferred) or Looker • Bachelor's or master's degree in computer science, database management, etc. For those who pay close attention and thoroughly read through job descriptions: please only apply if you possess full-stack capabilities and send your resume in Word format.

Data Science Jobs

@datasciencejobs · Post #2144 · 07.06.2024 г., 06:02

#DataEngineer#ContractPosition#Remote#GCP#ThoughtSpot#BigData#Affinity#Slack#Looker#Snowflake Разыскивается DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!!!) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для самых внимательных, кто действительно читает описание вакансии: просим - откликаться только в том случае, если у вас есть полный стек, - присылать резюме в формате Word. Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations. Responsibilities: Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies. Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. Automating the process of collecting and visualizing user engagement data from CRM/UI. Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing. Extracting data from the Affinity CRM system, ensuring its correctness and relevance. Integrating notifications into Slack to improve communication within the team. If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake. • Deep experience with data pipeline and workflow management tools (Airflow). • Strong proficiency in SQL and Python • Experience with BigQuery. • experience extracting data out of Affinity CRM and integrate notifications back to Slack • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity • Strong communication skills, both orally and in writing.• BI tool experience on ThoughtSpot (preferred) or Looker Nice to have: • Bachelor's or master's degree in computer science, database management, etc.