TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #210 · 3 фев.

Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить. Есть как минимум два способа это решить правильно! 🔸 Сделать виртуальное окружение и ставить там что угодно. Это позволит создать полностью независимое исполняемое окружение для ваших приложений. Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется. Создать очень просто: python3 -m venv ~/venvs/myenvname Теперь активируем окружение # Linux source ~/venvs/myenvname/bin/activate # Windows %userprofile%\venvs\myenvname\Scripts\activate.bat Можно ставить любые библиотеки и запускать приложение. Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа! 🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете. В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера. Выполните этот код в консоли: python3 -m site Вы получите что-то такое: sys.path = [ '/home/user', '/usr/lib/python37.zip', '/usr/lib/python3.7', '/usr/lib/python3.7/lib-dynload', '/home/user/.local/lib/python3.7/site-packages', ... ] USER_BASE: '/home/user/.local' USER_SITE: '/home/user/.local/lib/python3.7/site-packages' ENABLE_USER_SITE: True Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть. Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip pip install --user requests Для этой команды не нужны root-права. После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера. Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE export PYTHONUSERBASE=~/pylibs python3 -m site ... USER_BASE: '/home/user/pylibs' USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages' Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!) 🔸 Дописывание пути в PYTHONPATH Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней. Сначала ставим библиотеку в любое место указывая путь установки pip3 install -t ~/mylibs modulename Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH. Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров. Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно. Минусы такого подхода: ▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте. ▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь. ▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы. #tricks#basic

Резултати

Пронајдени 97 слични објави

Пребарај: #machinelearning

当前筛选 #machinelearning清除筛选
Am Neumarkt 😱

@amneumarkt · Post #117 · 12.12.2020 г., 08:26

#machinelearning https://arxiv.org/abs/2007.04504 Learning Differential Equations that are Easy to Solve Jacob Kelly, Jesse Bettencourt, Matthew James Johnson, David Duvenaud Differential equations parameterized by neural networks become expensive to solve numerically as training progresses. We propose a remedy that encourages learned dynamics to be easier to solve. Specifically, we introduce a differentiable surrogate for the time cost of standard numerical solvers, using higher-order derivatives of solution trajectories. These derivatives are efficient to compute with Taylor-mode automatic differentiation. Optimizing this additional objective trades model performance against the time cost of solving the learned dynamics. We demonstrate our approach by training substantially faster, while nearly as accurate, models in supervised classification, density estimation, and time-series modelling tasks.

When Andrey Fillimonov started the research in the field of complex analytics of the mental and physiological state of drivers, potential customers were сonfused. His team was often looked at as people doing who knows what. Now, this technology based on machine learning is becoming the industry standard. Global CIO spoke to Andrey Fillimonov about the development of AI products and his expectations for this technology in the future. #AI#MachineLearning

AI для Всех

@nn_for_science · Post #1464 · 10.05.2023 г., 17:42

Иногда появляется ощущение, что жизнь вокруг ИИ происходит в режиме быстрой перемотки. Меньше месяца назад Мета выпустила SAM для сегментации любых объектов на изображении, но такое ощущение, что это было всегда. Только за последние 2 дня я уже прочитал около десятка документов, описывающих прототипы использования SAM для изучения недр. Например, на первых двух картинках (из этого поста) - берем шлиф(срез породы) -> пропускаем через SAM -> выделяем все зерна пород -> автоматически получаем распределение размера зерен (гранулометрия). На последней картинке я просто кликнул мышкой и выделил все пыльцевые зерна на изображении полученном с помощью электронного микроскопа. Автоматически выделенные зерна можно классифицировать и использовать палеотнологами для определения геологического возраста породы. #machinelearning#Geo

Earth&Climate Tech

@earth_climate_tech · Post #286 · 10.05.2023 г., 16:00

Иногда появляется ощущение, что жизнь вокруг ИИ происходит в режиме быстрой перемотки. Меньше месяца назад Мета выпустила SAM для сегментации любых объектов на изображении, но такое ощущение, что это было всегда. Только за последние 2 дня я уже прочитал около десятка документов, описывающих прототипы использования SAM для изучения недр. Например, на первых двух картинках (из этого поста) - берем шлиф(срез породы) -> пропускаем через SAM -> выделяем все зерна пород -> автоматически получаем распределение размера зерен (гранулометрия). На последней картинке я просто кликнул мышкой и выделил все пыльцевые зерна на изображении полученном с помощью электронного микроскопа. Автоматически выделенные зерна можно классифицировать и использовать палеотнологами для определения геологического возраста породы. #machinelearning#Geo

Repositorio data science

@repo_science · Post #3315 · 17.06.2023 г., 23:01

#machineLearning#intermediate Building a Machine Learning Model This course will demonstrate how to build and train your own custom machine learning model from scratch. We cover all steps, including how to set up the environment, how to import and prepare your ... ✍️Daniel Mease ⏰57m 👥139 ⭐️4.7 🔗LinK ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Data Science Jobs

@datasciencejobs · Post #2410 · 08.11.2024 г., 11:01

#вакансия#remote#fulltime#ML#machinelearning Позиция: Senior ML Engineer Локация: remote Формат: full-time Проект: NDA Вилка: 6,000-12,000$ net Привет! Очень внимательно и тщательно ищем в наш проект SeniorMachine Learning Engineer. Мы динамично развивающийся стартап, решаем различные ML/DL задачи от внешних заказчиков: генерация текста, аудио и видео, распознавание объектов на видео, так же применяем AI-моделей в клинических прогнозах, проводим идентификацию контента, созданного LLM и т.д.. Мы сфокусированы на применении SOTA-решений для этих проектов, а также поддержке и мониторинге работающих решений. На данный момент наименование проекта находится под NDA, детали будут доступны на дальнейших этапах общения. Чем предстоит заниматься: • Разработка и внедрение моделей машинного обучения для решения задач NLP, LLM и генеративных моделей. • Tuning существующих решений: дообучение NN, улучшение используемых алгоритмов, оптимизация производительности; • Проводить анализ данных и оценку эффективности моделей машинного обучения. • Участвовать в обсуждении новых технологий и разработке новых решений совместно с project-менеджером. Стек проекта: Python, Tensorflow, PyTorch, Hugging Face, Github workflow, Docker, asyncio, multiprocessing, Tensorflow, FastAPI, pandas, CI/CD, Opensearch, Elasticsearch, MongoDB, PostgresQL. Так же, опишу портрет, кого мы ищем: • Высшее образование в области компьютерных технологий / прикладной математики и (или) прикладной информатики. • Опыт работы в сфере ML-инжиниринга от 3 лет, общий коммерческий опыт в области DS от 5 лет. • Опыт работы с моделями машинного обучения в области NLP, LLM, генеративных моделей, временных рядов, рекомендательных систем. • Опыт работы с классическими алгоритмами машинного обучения. • Опыт нахождения в проектах с нуля до продакшна. Что особенно нас интересует: • Опыт участия в хакатонах и соревнованиях (Kaggle, например). • Выпускники Yandex Data School. Самая приятная часть данного предложения: • Фиксированный оклад, выплачиваемый дважды в месяц (двумя равными частями). • Заработная плата по верхней границе рынка (от 6,000 до 12,000$) на старте. • При достижении результатов премии и бонусы. • Возможность работать над интересными проектами с применением современных технологий. • Все необходимое для профессионального развития и роста. • Оформление в партнерскую компанию. • Полностью удаленная работа, гибкий full-time. Контакты: Алина @tetrisgirl Готова ответить на ваши вопросы ☺️

Data Science Jobs

@datasciencejobs · Post #2359 · 10.10.2024 г., 07:00

#вакансия#remote#fulltime#ML#machinelearning Позиция: ML Engineer Локация: remote Формат: full-time Проект: NDA Вилка: 6,000-15,000$ net Друзья, дата-гении, добрый вечер! Мое предложение будет весьма нестандартным, я нахожусь в поиске Machine Learning Engineer. На данный момент наименование проекта находится под NDA, детали будут доступны на дальнейших этапах общения. Проект подразумевает собой платформу, построенную по принципу Kaggle, где размещаются научно-практические проекты с использованием ИИ. Ваша задача - создавать и оптимизировать решения для этих проектов, конкурируя за лидерство в рейтинге. Чем предстоит заниматься: • Разрабатывать и внедрение моделей машинного обучения для решения задач NLP, LLM и генеративных моделей. • Осуществлять оптимизацию и deploy рекомендательных систем, систем анализа временных рядов. • Проводить анализ данных и оценку эффективности моделей машинного обучения. • Участвовать в обсуждении новых технологий и разработке новых решений совместно с project-менеджером. Стек проекта: Python, Tensorflow, PyTorch, Hugging Face, Github workflow, Docker, asyncio, multiprocessing, Tensorflow, FastAPI, pandas, CI/CD, Opensearch, Elasticsearch, MongoDB, PostgresQL. Так же, опишу портрет, кого мы ищем: • Высшее образование в области компьютерных технологий / прикладной математики и (или) прикладной информатики. • Опыт работы в сфере ML-инжиниринга от 3 лет, общий коммерческий опыт от 5 лет. • Опыт работы с моделями машинного обучения в области NLP, LLM, генеративных моделей, временных рядов, рекомендательных систем. • Опыт работы с классическими алгоритмами машинного обучения. • Опыт нахождения в проектах с нуля до продакшна. Что особенно нас интересует: • Опыт участия в хакатонах и соревнованиях (Kaggle, например). • Диплом об окончании Yandex Data School. Самая приятная часть данного предложения: • Фиксированный оклад, выплачиваемый дважды в месяц (двумя равными частями). • Заработная плата по верхней границе рынка (от 6,000 до15,000$) на старте. • Возможность работать над интересными проектами с применением современных технологий. • Все необходимое для профессионального развития и роста. • Оформление в партнерскую компанию (ИП). • Полностью удаленная работа, гибкий full-time. Контакты: Алина @tetrisgirl Готова ответить на ваши вопросы ☺️

123•••89
ПретходнаСтраница 1 од 9Следна