TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #239 · 3 мај

Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic

Резултати

Пронајдени 97 слични објави

Пребарај: #machinelearning

当前筛选 #machinelearning清除筛选
Am Neumarkt 😱

@amneumarkt · Post #117 · 12.12.2020 г., 08:26

#machinelearning https://arxiv.org/abs/2007.04504 Learning Differential Equations that are Easy to Solve Jacob Kelly, Jesse Bettencourt, Matthew James Johnson, David Duvenaud Differential equations parameterized by neural networks become expensive to solve numerically as training progresses. We propose a remedy that encourages learned dynamics to be easier to solve. Specifically, we introduce a differentiable surrogate for the time cost of standard numerical solvers, using higher-order derivatives of solution trajectories. These derivatives are efficient to compute with Taylor-mode automatic differentiation. Optimizing this additional objective trades model performance against the time cost of solving the learned dynamics. We demonstrate our approach by training substantially faster, while nearly as accurate, models in supervised classification, density estimation, and time-series modelling tasks.

When Andrey Fillimonov started the research in the field of complex analytics of the mental and physiological state of drivers, potential customers were сonfused. His team was often looked at as people doing who knows what. Now, this technology based on machine learning is becoming the industry standard. Global CIO spoke to Andrey Fillimonov about the development of AI products and his expectations for this technology in the future. #AI#MachineLearning

AI для Всех

@nn_for_science · Post #1464 · 10.05.2023 г., 17:42

Иногда появляется ощущение, что жизнь вокруг ИИ происходит в режиме быстрой перемотки. Меньше месяца назад Мета выпустила SAM для сегментации любых объектов на изображении, но такое ощущение, что это было всегда. Только за последние 2 дня я уже прочитал около десятка документов, описывающих прототипы использования SAM для изучения недр. Например, на первых двух картинках (из этого поста) - берем шлиф(срез породы) -> пропускаем через SAM -> выделяем все зерна пород -> автоматически получаем распределение размера зерен (гранулометрия). На последней картинке я просто кликнул мышкой и выделил все пыльцевые зерна на изображении полученном с помощью электронного микроскопа. Автоматически выделенные зерна можно классифицировать и использовать палеотнологами для определения геологического возраста породы. #machinelearning#Geo

Earth&Climate Tech

@earth_climate_tech · Post #286 · 10.05.2023 г., 16:00

Иногда появляется ощущение, что жизнь вокруг ИИ происходит в режиме быстрой перемотки. Меньше месяца назад Мета выпустила SAM для сегментации любых объектов на изображении, но такое ощущение, что это было всегда. Только за последние 2 дня я уже прочитал около десятка документов, описывающих прототипы использования SAM для изучения недр. Например, на первых двух картинках (из этого поста) - берем шлиф(срез породы) -> пропускаем через SAM -> выделяем все зерна пород -> автоматически получаем распределение размера зерен (гранулометрия). На последней картинке я просто кликнул мышкой и выделил все пыльцевые зерна на изображении полученном с помощью электронного микроскопа. Автоматически выделенные зерна можно классифицировать и использовать палеотнологами для определения геологического возраста породы. #machinelearning#Geo

Repositorio data science

@repo_science · Post #3315 · 17.06.2023 г., 23:01

#machineLearning#intermediate Building a Machine Learning Model This course will demonstrate how to build and train your own custom machine learning model from scratch. We cover all steps, including how to set up the environment, how to import and prepare your ... ✍️Daniel Mease ⏰57m 👥139 ⭐️4.7 🔗LinK ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Data Science Jobs

@datasciencejobs · Post #2410 · 08.11.2024 г., 11:01

#вакансия#remote#fulltime#ML#machinelearning Позиция: Senior ML Engineer Локация: remote Формат: full-time Проект: NDA Вилка: 6,000-12,000$ net Привет! Очень внимательно и тщательно ищем в наш проект SeniorMachine Learning Engineer. Мы динамично развивающийся стартап, решаем различные ML/DL задачи от внешних заказчиков: генерация текста, аудио и видео, распознавание объектов на видео, так же применяем AI-моделей в клинических прогнозах, проводим идентификацию контента, созданного LLM и т.д.. Мы сфокусированы на применении SOTA-решений для этих проектов, а также поддержке и мониторинге работающих решений. На данный момент наименование проекта находится под NDA, детали будут доступны на дальнейших этапах общения. Чем предстоит заниматься: • Разработка и внедрение моделей машинного обучения для решения задач NLP, LLM и генеративных моделей. • Tuning существующих решений: дообучение NN, улучшение используемых алгоритмов, оптимизация производительности; • Проводить анализ данных и оценку эффективности моделей машинного обучения. • Участвовать в обсуждении новых технологий и разработке новых решений совместно с project-менеджером. Стек проекта: Python, Tensorflow, PyTorch, Hugging Face, Github workflow, Docker, asyncio, multiprocessing, Tensorflow, FastAPI, pandas, CI/CD, Opensearch, Elasticsearch, MongoDB, PostgresQL. Так же, опишу портрет, кого мы ищем: • Высшее образование в области компьютерных технологий / прикладной математики и (или) прикладной информатики. • Опыт работы в сфере ML-инжиниринга от 3 лет, общий коммерческий опыт в области DS от 5 лет. • Опыт работы с моделями машинного обучения в области NLP, LLM, генеративных моделей, временных рядов, рекомендательных систем. • Опыт работы с классическими алгоритмами машинного обучения. • Опыт нахождения в проектах с нуля до продакшна. Что особенно нас интересует: • Опыт участия в хакатонах и соревнованиях (Kaggle, например). • Выпускники Yandex Data School. Самая приятная часть данного предложения: • Фиксированный оклад, выплачиваемый дважды в месяц (двумя равными частями). • Заработная плата по верхней границе рынка (от 6,000 до 12,000$) на старте. • При достижении результатов премии и бонусы. • Возможность работать над интересными проектами с применением современных технологий. • Все необходимое для профессионального развития и роста. • Оформление в партнерскую компанию. • Полностью удаленная работа, гибкий full-time. Контакты: Алина @tetrisgirl Готова ответить на ваши вопросы ☺️

Data Science Jobs

@datasciencejobs · Post #2359 · 10.10.2024 г., 07:00

#вакансия#remote#fulltime#ML#machinelearning Позиция: ML Engineer Локация: remote Формат: full-time Проект: NDA Вилка: 6,000-15,000$ net Друзья, дата-гении, добрый вечер! Мое предложение будет весьма нестандартным, я нахожусь в поиске Machine Learning Engineer. На данный момент наименование проекта находится под NDA, детали будут доступны на дальнейших этапах общения. Проект подразумевает собой платформу, построенную по принципу Kaggle, где размещаются научно-практические проекты с использованием ИИ. Ваша задача - создавать и оптимизировать решения для этих проектов, конкурируя за лидерство в рейтинге. Чем предстоит заниматься: • Разрабатывать и внедрение моделей машинного обучения для решения задач NLP, LLM и генеративных моделей. • Осуществлять оптимизацию и deploy рекомендательных систем, систем анализа временных рядов. • Проводить анализ данных и оценку эффективности моделей машинного обучения. • Участвовать в обсуждении новых технологий и разработке новых решений совместно с project-менеджером. Стек проекта: Python, Tensorflow, PyTorch, Hugging Face, Github workflow, Docker, asyncio, multiprocessing, Tensorflow, FastAPI, pandas, CI/CD, Opensearch, Elasticsearch, MongoDB, PostgresQL. Так же, опишу портрет, кого мы ищем: • Высшее образование в области компьютерных технологий / прикладной математики и (или) прикладной информатики. • Опыт работы в сфере ML-инжиниринга от 3 лет, общий коммерческий опыт от 5 лет. • Опыт работы с моделями машинного обучения в области NLP, LLM, генеративных моделей, временных рядов, рекомендательных систем. • Опыт работы с классическими алгоритмами машинного обучения. • Опыт нахождения в проектах с нуля до продакшна. Что особенно нас интересует: • Опыт участия в хакатонах и соревнованиях (Kaggle, например). • Диплом об окончании Yandex Data School. Самая приятная часть данного предложения: • Фиксированный оклад, выплачиваемый дважды в месяц (двумя равными частями). • Заработная плата по верхней границе рынка (от 6,000 до15,000$) на старте. • Возможность работать над интересными проектами с применением современных технологий. • Все необходимое для профессионального развития и роста. • Оформление в партнерскую компанию (ИП). • Полностью удаленная работа, гибкий full-time. Контакты: Алина @tetrisgirl Готова ответить на ваши вопросы ☺️

123•••89
ПретходнаСтраница 1 од 9Следна