TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #32 · 7 фев.

Скорее всего уже слышали, что складывать строки через + это плохая практика. Падение производительности, и всё такое. Без лишних слов, давайте измерять: from timeit import timeit def t1(): # складываем 10 строк через + из переменной t = 'text' for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t2(): # склеиваем список строк через метод join arr = ['text'] * 10 for _ in range(1000): s = ''.join(arr) def t3(): # складываем через + но не из переменной а непосредственно инлайн объекты for _ in range(1000): s = 'text' + 'text' + 'text' + ... # всего 10 раз Теперь каждую строку склейки запустим по 10М раз >>> timeit(t1, number=10000) 0.21951690399964718 >>> timeit(t2, number=10000) 1.4978306379998685 >>> timeit(t3, number=10000) 0.2213820789993406 Хм, а нам говорили что через "+" это плохо и медленно ))) 😁 Тут стоит учитывать, что речь идёт о склейке множества длинных строк. Давайте изменим условия: def t4(): t = 'text'*100 for _ in range(1000): s = t + t + t + t + t + t + t + t + t def t5(): arr = ['text'*100] * 10 for _ in range(1000): s = ''.join(arr) def t6(): for _ in range(1000): s = 'text'*100 + 'text'*100 + ... # всего 10 раз >>> timeit(t4, number=10000) 12.795130728000004 >>> timeit(t5, number=10000) 2.642637542999182 >>> timeit(t6, number=10000) 0.2184546610005782 Вот, уже другой разговор, сразу видна разница, в среднем в 6 раз. Но погодите, почему последний тест t6() по скорости такой же как и t3()? Ведь строки теперь в 100 раз длиннее! Это вопросы оптимизации кода, какие простые изменения ускоряют или замедляют выполнение программы. Мы столкнулись с примером обхода обращения к переменной. Например, именно так работает директива #define в С++, во время компиляции подставляя значение переменной вместо ссылки на неё. В Python это тоже работает, но часто ли вы сможете встретить такой способ работы со строками? К сожалению, способ почти только теоретический. В целом, тесты показали то, что мы хотели. Делаем выводы самостоятельно. Полный листинг 🌍 #tricks

Резултати

Пронајдени 1 слични објави

Пребарај: #textanalysis

当前筛选 #textanalysis清除筛选
Data Science Jobs

@datasciencejobs · Post #2363 · 11.10.2024 г., 09:00

#NLP#ML#AI#NaturalLanguageProcessing#DeepLearning#Python#УдаленнаяРабота#ИП#LLM#TextAnalysis Вакансия: ML/NLP разработчик Грейд: Middle+/Senior Локация: строго РФ Формат работы: удалённая, трудоустройство только по ИП Зарплата: 250-350 тыс. руб. 💸 📌О проекте: Мы разрабатываем интеллектуальную Систему анализа проектной документации для обработки и анализа текстовых данных. В рамках проекта вы будете участвовать в создании когнитивного поиска, рекомендательных систем и digital-ассистентов, помогая реализовать передовые решения на основе естественного языка. 📌Задачи: - Разработка моделей для структурирования текстов и понимания запросов на естественном языке 🧠 - Решение NLP задач для когнитивного поиска и рекомендательных систем - Разработка NLU моделей для digital-ассистентов - Развитие и оптимизация больших языковых моделей (LLM) 📌Мы предлагаем: - Удалённую работу с гибким графиком 🏡 - Трудоустройство по ИП с прозрачными условиями - Участие в интересных проектах по текстовому анализу - Возможности для профессионального роста 🚀 - Работа с передовыми технологиями и решениями 📌Наши ожидания: - Опыт работы с NLP задачами от 3 лет - Глубокие знания машинного обучения и deep learning в NLP - Практический опыт работы с задачами для русского языка: классификация текста, topic modeling, NER, Text2SQL - Участие в хакатонах или Kaggle будет плюсом 🏆 📌Технологический стек: Python, NLTK, DeepPavlov, Hugging Face, LSH, faiss, nmslib, HNSW, Spark, Pandas, Numpy, Sklearn, Keras, PyTorch, Tensorflow, RNN, CNN, Transformer, BERT. 📌Преимуществом будет: - Опыт работы с LLM, включая RAG, LangChain, LoRA - Навыки fine-tuning и prompt engineering Если хотите присоединиться к нашему проекту, пишите в Telegram: @BekhterevaElena.