Најди сличен содржај

Изворен канал @pythonotes · Post #32 · 7 фев.

Скорее всего уже слышали, что складывать строки через + это плохая практика. Падение производительности, и всё такое. Без лишних слов, давайте измерять: from timeit import timeit def t1(): # складываем 10 строк через + из переменной t = 'text' for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t2(): # склеиваем список строк через метод join arr = ['text'] * 10 for _ in range(1000): s = ''.join(arr) def t3(): # складываем через + но не из переменной а непосредственно инлайн объекты for _ in range(1000): s = 'text' + 'text' + 'text' + ... # всего 10 раз Теперь каждую строку склейки запустим по 10М раз >>> timeit(t1, number=10000) 0.21951690399964718 >>> timeit(t2, number=10000) 1.4978306379998685 >>> timeit(t3, number=10000) 0.2213820789993406 Хм, а нам говорили что через "+" это плохо и медленно ))) 😁 Тут стоит учитывать, что речь идёт о склейке множества длинных строк. Давайте изменим условия: def t4(): t = 'text'*100 for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t5(): arr = ['text'*100] * 10 for _ in range(1000): s = ''.join(arr) def t6(): for _ in range(1000): s = 'text'*100 + 'text'*100 + ... # всего 10 раз >>> timeit(t4, number=10000) 12.795130728000004 >>> timeit(t5, number=10000) 2.642637542999182 >>> timeit(t6, number=10000) 0.2184546610005782 Вот, уже другой разговор, сразу видна разница, в среднем в 6 раз. Но погодите, почему последний тест t6() по скорости такой же как и t3()? Ведь строки теперь в 100 раз длиннее! Это вопросы оптимизации кода, какие простые изменения ускоряют или замедляют выполнение программы. Мы столкнулись с примером обхода обращения к переменной. Например, именно так работает директива #define в С++, во время компиляции подставляя значение переменной вместо ссылки на неё. В Python это тоже работает, но часто ли вы сможете встретить такой способ работы со строками? К сожалению, способ почти только теоретический. В целом, тесты показали то, что мы хотели. Делаем выводы самостоятельно. Полный листинг 🌍 #tricks

Hashtags

#define #tricks

Резултати

Пронајдени 3 слични објави

Пребарај: #hdfs

当前筛选 #hdfs清除筛选

Data Science Jobs

@datasciencejobs · Post #2288 · 29.08.2024 г., 18:33

Најди слично Погледај

#job#работа#vacancy#вакансия#Data engineer #DataScience#HDFS#PySpark #Python#удаленно Вакансия: Data engineer Формат: Удаленно Занятость: полная, 5/2 (гибкое начало дня) З/П: до 300 000 руб. 🔶Эта вакансия - отличная возможность для инженера данных стать часть вдохновленной команды и принять участие в развитии платформы машинного обучения дочерней компании 🔶 Ключевая задача: развитие платформы машинного обучения 🔶Основные обязанности •Разрабатывать отчетность с использованием скриптов на PySpark •Генерировать новые признаки для ML-моделей •Автоматизировать процессы для бизнеса 🔶Обязательные требования: •Опыт работы с большими данными: HDFS, PySpark от 1 года •Опыт работы с Python, в том числе с Pandas, NumPy Преимуществом при отборе будет •Опыт работы с геоданными, git 🔶 Что мы можем предложить взамен •Место работы: удаленно по РФ •Трудоустройство по ТК РФ в аккредитованное юр. лицо •Официальное трудоустройство •Размер заработной платы обсуждается после собеседования •Годовое премирование •ДМС со стоматологией •Компенсация мобильной связи •Возможности для развития 📲Контакт: @Oskar17

Hashtags

#job #работа #vacancy #вакансия #data #datascience #hdfs #pyspark

Data Science Jobs

@datasciencejobs · Post #2934 · 20.09.2025 г., 07:03

Најди слично Погледај

#вакансия#datascientist#llm#nlp#HDFS#Kafka#Spark#удалёнка Ищем Senior Data Scientist в команду Поиск 3.0. Сейчас направление фокусируется на развитии Циан-помощника (наш LLM агент), делая его умнее и полезнее для всех пользователей и развитии текстового поиска, внедряя в него современные NLP и мультимодальные механики. Полная удалёнка внутри РФ. Если есть желание ходить в офис, у нас есть замечательные современные офисы в Москве, Питере и Новосибе. Вилка - от 350 до 500, готовы обсуждать. О нас: В Циан большая команда ML. В команде настроены процессы перфоманс ревью, регулярного обмена опытом, выделяем время на исследовательскую работу! Сейчас направление фокусируется на развитии текстового поиска, чтобы пользователи находили идеальные варианты быстрее, и Циан-помощнике, делая его умнее и полезнее. Задачи: * NLP задачи как в виде обучения моделей, так и в виде разработки вспомогательных сущностей на python * Внедрение мультимодального подхода к поиску * Развитие интеллектуального помощника по поиску недвижимости: обучение собственных llm моделей на базе opensource, исследование готовых решений от openAI/Yandex и других. * Разработка и внедрение в продакшн моделей машинного обучения для улучшения пользовательского опыта Требования: * Опыт: Не менее 3х лет релевантного опыта на позиции DS в продуктовой компании * Python: пишет легко читаемый и поддерживаемый код * SQL (оконные функции, оптимизация запросов) * Опыт в DL: обучение/дообучение собственных глубоких нейросетей * Опыт разработки NLP моделей: от tfidf до llm * Классический ML: бустинги, линейные модели. Будет плюсом: * Apache стек: HDFS/Kafka/Spark (DF API) * Опыт работы с CV и мультимодальными моделями Бонусы: ДМС с первого дня (стоматология, госпитализация, полис ВЗР), Кафетерий льгот, 5 day off в год, помимо основного отпуска. Контакты: По всем вопросам и с резюме пишите @mistakef Не забудьте указать, что вы из datasciencejobs

Hashtags

#вакансия #datascientist #llm #nlp #hdfs #kafka #spark #удалёнка

GitHub Trends

@githubtrending · Post #15246 · 24.10.2025 г., 13:30

Најди слично Погледај

#go#blob_storage#cloud_drive#distributed_file_system#distributed_storage#distributed_systems#erasure_coding#fuse#hadoop_hdfs#hdfs#kubernetes#object_storage#posix#replication#s3#s3_storage#seaweedfs#tiered_file_system SeaweedFS is a fast, simple, and highly scalable distributed file system designed to store billions of files and serve them quickly, especially small files. It uses a master server to manage volumes on volume servers, which handle file data and metadata, enabling very fast file access with minimal disk reads. It supports features like replication, erasure coding, cloud integration for elastic storage, and compatibility with many metadata stores and APIs including Amazon S3. This means you get efficient, cost-effective storage with fast access, easy scaling, and flexible deployment options for large-scale file storage needs. https://github.com/seaweedfs/seaweedfs

Hashtags