TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #672 · 28.11

Впервые сделал крупный проект (под NDA, так что не расскажу, какой) на облачных функциях. Впечатления противоречивые. Изначально программисты арендовали компьютер в датацентре: или целиком или кусочек. На нём теоретически можно делать что угодно, но для запуска своих программ нужно было настроить операционную систему, безопасность и авторизацию, установить нужные исполнительные модули, программы для удобства деплоя, мониторинг нагрузки итд. Поэтому появились сервисы, которые это всё делают за тебя, а тебе дают буквально окно, куда можно написать свой код и запускать его удалённо на чужой машине. Конкретно я пользовался решением от Яндекса, чей протокол скопирован напрямую с Amazon Web Services. Причём, в документации не только открыто об этом говорится, но ещё и в некоторых местах перенаправляют на доки от Amazon. И SDK предлагают тоже использовать амазоновский. До санкций я бы сказал, что это не так плохо — можно использовать что-то привычное тем, кто уже работал с Amazon. Но сейчас привязка к американскому сервису выглядит скорее жирным минусом. Не знаю, есть ли у Яндекса ресурсы на какое-то серьёзное разделение. Судя по состоянию документации и платформы в целом — нет. Yandex Cloud кажется системой, которая активно развивалась несколько лет назад, а сейчас подзаброшена. Среда выполнения .NET отстаёт от актуальной на две версии (3.1 вместо 6, четвёртой версии не существует). Изначально мой проект был написан как обычное контейнеризированное приложение на .NET 6, а потом я переводил его на функции. Пришлось пройтись по всему коду и переписать несовместимые куски с C#10 на C#8, это было не слишком приятно. Документации фактически нет, а там, где есть, много путаницы. В примерах написано одно, по факту другое: например в функцию вместо объекта Request приходит просто строка, а разбирать её надо самому. Авторизацию я нашёл только на Stackoverflow. Интересно, что адекватных доков про неё не было ни у Яндекса, ни у Amazon. Функция выполняется и выгружается, поэтому ваша программа не должна рассчитывать на наличие постоянно живущего процесса. Мне пришлось вытащить из неё большой словарь, который грузится при старте, и положить уже подготовленные данные из него в Object Storage — это такое горячее файловое хранилище, там же рядом с функциями. Справедливости ради, работает это всё быстрее, чем я думал. Удалось запихнуть в функции даже сравнительно большой проект с кучей классов, создающий при запуске несколько десятков объектов и производящий загрузку из сети с декомпрессией. Другой важный плюс — бесплатная квота довольно внушительная: миллион вызовов и 10Гб*часов оперативной памяти в месяц. Для пет проекта вы сможете вообще не покупать сервер. Но если сервер у вас всё-таки есть, деплой вы уже настроили, то удобнее будет, конечно, делать как привычно. И гибкости больше. #dev

Hashtags

Резултати

Намерени 4 подобни публикации

Търсене: #highload

当前筛选 #highload清除筛选
Data Science Jobs

@datasciencejobs · Post #2294 · 03.09.2024 г., 07:03

#вакансия#Москва#Fulltime#Senior#ML#Highload#BigData Вакансия: Senior MLOps Компания: X-Labs AI Вилка: 350 000 - 450 000 руб. X-Labs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ! P.S. Если ты знаешь, как оптимизировать инференс LLM, то тебе точно к нам 🙂 💻 Чем предстоит заниматься: Разработкой MLOps-инфраструктуры для задач генерации текста, аудио и видео: - Оптимизацией использования ресурсов кластера; - Развертыванием моделей в продакшн; - Внедрением и поддержкой инструментов отслеживания жизненного цикла моделей и версионирования артефактов (WandB, MLFlow и др.); - Постепенным развитием MLOps-практик (эффективный инференс LLM, Diffusion Models). ✏️ Чего мы от тебя ждем: - Опыт работы в качестве DevOps/MLOps от 1 года; - Базовых навыков работы с Kubernetes (k8s) и готовности глубоко погружаться в разработку и поддержку сервисов в этой среде; - Опыта работы с микросервсной архитектурой; - Навыков работы с MLOps инструментами (ClearML/WandB/MLflow и т.п.) или готовности быстро их освоить; - Опыта работы с CI/CD инструментами. ✨ Будет плюсом: - Опыт работы с IaC; - Опыт развертывания LLM в продакшн; - Опыт оптимизации моделей. ❤️ Что мы предлагаем: - Возможность развиваться в области MLOps с современными Gen AI моделями; - Возможность поработать с большим высоконагруженным кластером; - Работа с новейшими и передовыми архитектурами моделей; - Сильную команду, с которой можно расти; - Комфортный офис в Москва-Сити или в Минске; - Гибкое начало рабочего дня; - Sick days; - ДМС; - Корпоративную технику и все необходимое для работы. Хочешь узнать подробнее? Пиши напрямую 🐭@dzherry

Data Science Jobs

@datasciencejobs · Post #2356 · 07.10.2024 г., 08:23

#ETL, #data_engineer, #ML, #Highload#BigData#работа#офис Middle Data Engineer Формат работы: Офис в Москве/Минске Компания: X-Labs ЗП (net): 150 000 – 300 000 руб. XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам. Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc. Чем предстоит заниматься: - Разработка собственного Data Catalog; - Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только); - Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow; - Работа с различными системами хранения (MongoDB, Redis, S3). Чего мы от тебя ждем: - Высоких навыков промышленной разработки на Python; - Понимания основ ML и нейронных сетей; - Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio); - Опыта работы с S3, AirFlow, Git, Docker; - Опыта выстраивания и оптимизации ETL-процессов; - Готовности брать инициативу; - Мотивируешься смелыми вызовами и нестандартными задачами. Будет плюсом: - Опыт работы с большими объёмами данных (>10Tb); - Опыт работы с изображениями, видео или аудио. Что мы предлагаем: - Сильную команду, с которой можно расти; - Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio); - Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками; - Корпоративную технику и все необходимое для работы; - Гибкое начало рабочего дня; - Sick days; - ДМС. Скинуть резюме или задать вопрос можно @nika_vikitina

Data Science Jobs

@datasciencejobs · Post #2747 · 02.06.2025 г., 09:28

#vacancy #вакансия#ml#engineer#ds#pytorch#tensorflow#recsys#highload ⭐️Компания: Wisebits 🔥Позиция: Senior ML Engineer / Data Scientist (Search & Recommendations) 🏢Формат работы: full time, удаленно/relocate 💰 Зарплата: от 4500 euro net (обсуждаемо) Wisebits — международный IT-холдинг с сильной технической командой! Наш ключевой продукт — высоконагруженный видеохостинг, которым ежедневно пользуются миллионы людей по всему миру. Более чем за 15 лет на рынке мы сформировали профессиональную команду, где ценятся вовлечённость и инициативность. Если хочешь работать с high-load продуктом и иметь возможность влиять на его развитие — присоединяйся к нам! ❇️Чем предстоит заниматься: • Разрабатывать рекомендательные системы: user-item, item-item, кросс-платформенные рекомендации; • Исследовать и внедрять стратегии exploration-exploitation; • Оптимизировать выдачу на страницах категорий, каналов и тегов; • Строить text-to-video поиск: семантический поиск, embedding-модели, ранжирование; • Адаптировать и оптимизировать модели под высокую нагрузку — десятки тысяч RPS. ❇️Что мы ожидаем от тебя: • Опыт работы с рекомендательными системами, поиском или смежными задачами от 2 лет; • Уверенные знания Python и ML-фреймворков (PyTorch, LightGBM и др.); • Опыт внедрения моделей в продакшн; • Понимание принципов оффлайн- и онлайн-оценки моделей. ❇️Что мы предлагаем: • Работа над ML-продуктом с миллионами пользователей и живыми метриками; • Команда сильных инженеров, с которыми интересно дискутировать, совместно размышлять и запускать новые проекты и фичи; • Простая структура — минимум бюрократии, максимум ответственности; • Стабильная зарплата, ежегодный рейз и премии. • Бонусы: медстраховка, налоговая компенсация, обучение, техника, курсы языков; • Релокация на Кипр: визовая поддержка, оплата переезда, билеты и первый месяц жилья; • Гибкий график, комфортная атмосфера и поддержка команды. ❇️Наш стек: Языки и библиотеки: Python, PyTorch, LightGBM, Numpy, Pandas, Polars, CuDF, CuPy Инфраструктура и деплой: Kubernetes, Docker, Airflow, Triton Inference Server Хранилища данных: ClickHouse, MySQL Резюме можно направлять в лс https://t.me/Ullallaa💫

Data Science Jobs

@datasciencejobs · Post #1355 · 07.03.2023 г., 06:20

#вакансия#vacancy#devops#k8s#kubernetes#remote#relocate#Highload#fulltime#remote#relocation Всем привет!😊 В Wisebits открыта вакансия Data Engineer (GoLang Developer) в связи с ростом и целью усилить команду ML. Локация: Кипр Формат: удаленка/релокейт, 5/2 Вилка: 4000 - 4500 eur net (обсуждаемо) Wisebits - Международный ИТ - холдинг с головным офисом в солнечном Лимассоле (Кипр). Одна из наших команд создаёт высоко нагруженный продукт в области видео развлечений. Каждый месяц мы успешно обслуживаем миллиарды пользовательских визитов. Это возможно только благодаря слаженной работе в команде профессиональных, опытных и инициативных людей. 💡Новому члену команды предстоит работать над высоконагруженными сервисами и заниматься следующими задачами: ⁃ Выполнять эпизодические задачи на анализ данных; ⁃ ETL, разработка сервисов сбора, хранения и доступа к статистике и данным; ⁃ Оптимизация/создание pipeline для запуска ML решений в production; ⁃ Обработка и агрегация данных для отчетов. 💡Чего мы ждем: ⁃ Хорошие знания и опыт работы с Golang и ClickHouse; ⁃ Опыт разработки от 3-х лет; ⁃ Опыт работы с NoSql; ⁃ TCP/HTTP стек; ⁃ Хорошее знание алгоритмов и структур данных. 😉🔝Условия: ⁃ Полная занятость (удаленная работа или релокация); ⁃ Мы готовы помогать с РЕЛОКАЦИЕЙ из РФ и готовы обсуждать не только Кипр, но и другие страны🕊 ⁃ «Белая» заработная плата; ⁃ Зарплата в EUR; ⁃ ДМС ⁃ Помощь с обучением и ростом (предоставление возможностей для прохождения курсов/тренингов и тп); ⁃ Интернациональная, драйвовая команда💃🏻🕺🏼 ⁃ Продуктовый подход и четко выстроенные процессы⚖️ без лишней бюрократии ⁃ Есть возможность профессионального и финансового роста📈 ⁃ Мы всегда открыты к обсуждению идей🖊 Все вопросы и резюме, пожалуйста —> @Ullallaa