Скорее всего уже слышали, что складывать строки через + это плохая практика. Падение производительности, и всё такое. Без лишних слов, давайте измерять:
from timeit import timeit
def t1():
# складываем 10 строк через + из переменной
t = 'text'
for _ in range(1000):
s = t + t + t + t + t + t + t + t + t
def t2():
# склеиваем список строк через метод join
arr = ['text'] * 10
for _ in range(1000):
s = ''.join(arr)
def t3():
# складываем через + но не из переменной а непосредственно инлайн объекты
for _ in range(1000):
s = 'text' + 'text' + 'text' + ... # всего 10 раз
Теперь каждую строку склейки запустим по 10М раз
>>> timeit(t1, number=10000)
0.21951690399964718
>>> timeit(t2, number=10000)
1.4978306379998685
>>> timeit(t3, number=10000)
0.2213820789993406
Хм, а нам говорили что через "+" это плохо и медленно ))) 😁
Тут стоит учитывать, что речь идёт о склейке множества длинных строк.
Давайте изменим условия:
def t4():
t = 'text'*100
for _ in range(1000):
s = t + t + t + t + t + t + t + t + t
def t5():
arr = ['text'*100] * 10
for _ in range(1000):
s = ''.join(arr)
def t6():
for _ in range(1000):
s = 'text'*100 + 'text'*100 + ... # всего 10 раз
>>> timeit(t4, number=10000)
12.795130728000004
>>> timeit(t5, number=10000)
2.642637542999182
>>> timeit(t6, number=10000)
0.2184546610005782
Вот, уже другой разговор, сразу видна разница, в среднем в 6 раз. Но погодите, почему последний тест t6() по скорости такой же как и t3()? Ведь строки теперь в 100 раз длиннее!
Это вопросы оптимизации кода, какие простые изменения ускоряют или замедляют выполнение программы. Мы столкнулись с примером обхода обращения к переменной. Например, именно так работает директива #define в С++, во время компиляции подставляя значение переменной вместо ссылки на неё.
В Python это тоже работает, но часто ли вы сможете встретить такой способ работы со строками? К сожалению, способ почти только теоретический.
В целом, тесты показали то, что мы хотели. Делаем выводы самостоятельно.
Полный листинг 🌍
#tricks
⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле
Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом.
Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее.
Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps).
Процесс:
- Дали чёткий рецепт, а не случайные гипотезы.
- Показали, что процесс можно повторять с одинаковым результатом.
- Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется.
Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее.
Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз».
✔️ Правила от команды Thinking Machines
1. Ставить LoRA на все слои, а не только на attention.
2. Использовать ~10× больший learning rate, чем обычно.
3. Не раздувать batch size - иначе падает стабильность.
✔️Что в итоге:
- Кривые обучения LoRA почти совпадают с full fine-tuning.
- Даже в упоре в лимит адаптера модель ведёт себя плавно.
- Вычислений требуется на треть меньше, чем у FullFT.
LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга.
Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить.
Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов.
📌Подробнее
@ai_machinelearning_big_data
#LoRA#FineTuning#AI#MachineLearning#DeepLearning#LLM
#вакансия#промпт#инженер#rag#finetuning#remote
Есть достаточно обьемная методология согласно которой ai должен делать оценку соискателя. Сейчас есть МВП - воркфлоу на Н8Н, но результаты автоматической генерации по методикам явно недотягивают до результатов оценки квалифицированного психолога.(полноценное тз под нда)
Стек:
- Prompting skills
- RAG and Vector Databases
- Fine-tuning Language Models
- Workflow Automation (n8n)
- Data Structuring with JSON
- Python, langchain
Компания: физ. лицо (небольшая команда)
Занятость: проектная, объем работы 1-2 месяца
Формат работы: удаленно
Вилка: почасовая оплата от 1500 до 1800 руб/час
Вариант трудоустройства: неофициальное либо договор ГПХ
Только с портфолио выполненных проектов подобных задаче
Ваши резюме сюда: @Biduero
#MLEngineer#DataScientist#remote#parttime#project#NLP#RAG#finetuning#USA#удаленно#парттайм#AI#agent#LLM
#Senior#Middle
ML Engineer / Data Scientist / NLP Engineer
📍Удалённо, парт-тайм
Занятость: проектная почасовая
Оплата: 2000 - 2500₽ /час (USD ≤30)
AInnovator — занимается разработкой и внедрением AI/ML решений для среднего и крупного бизнеса в России, США и Канаде
Задачи:
▫️Написание RAG-пайплайнов
▫️Обучение LLM на корпоративных датасетах заказчиков on-premise
▫️Построение моделей кластеризации и семантического поиска
▫️Создание мультиагентных LLM-систем
▫️Интеграция с бэкендом (FastAPI, Flask)
▫️Работа с реляционными БД (PostgreSQL, alembic)
▫️Рефакторинг существующего ML-кода
Формат работы:
▪️Участие в проектной команде (backend + devops)
▪️Scrumban: трек задач в Kanban + 1-2х-недельные спринты
▪️Оплата результата по фактически отработанным часам
▪️Отсутствие жесткой привязки по времени
Мы предлагаем:
▫️Интересные AI-проекты на Российском и Американском рынке
▫️Возможности для творческой реализации и развития навыков
▫️Карьерный рост до Team/Tech Lead
▫️Возможность принять участие в выводе продуктов и сервисов на международный рынок
▫️Отсутствие привязки к месту и возможность оплаты труда в любую точку мира
▫️Возможность дальнейшего фулл-тайм трудоустройства (в США, РФ, Грузии)
Мы предоставляем корпоративный доступ к:
▪️Cursor / WindSurf / Manus или др.
▪️Promptmetheus (для удобства промпт-инжиниринга)
▪️Надежному VPN-сервису
Наши приоритеты (которые ожидаем и от вас):
▫️Быстрая и прямая коммуникация
▫️Ответственность за выполнение взятых обязательств
▫️Соблюдение сроков без напоминаний
💭 Связаться:
@hr_aisors — отправляйте CV, пригласим на скрининг и обсудим детали
#вакансия#vacancy#удаленка#remote#AI#мидл#Middle#синьор#Senior#ai#ии#ml#мл#llm#RAG#fullstack#finetuning#NLP#langchain#DataScientist#DataEngineer#MLengineer#api#aideveloper#python
❇️Вакансия: «AI Developer / ИИ Разработчик» Middle/Senior
Формат: удаленно по всему миру
Наш часовой пояс: UTC+3
Занятость: проектная с переходом в полную
Оплата: до 350.000₽ за проект или почасовая
Мы мультибренд занимающийся разработкой и внедрением AI и ML технологий во всех коммерческих отраслях
В связи с расширением мы ищем новых специалистов в нашу команду, а именно: AI Developer, Data Scientist, Data Engineer, ML Engineer
🔸Направления нашей работы:
- Внедрение ИИ/ML для автоматизации процессов
- Внедрение ИИ/ML в web сервисы, браузерные расширения и приложения(mobile)
- Создание продвинутых функциональных AI-Ассистентов
- Обучение/дообучение моделей
- Разработка AI/ML SaaS
🔸Какие задачи вам предстоит решать:
- Работа с LLM(Anthropic, Gemini, OpenAI, Llama, Mistral и др)
- Взаимодействие с API различных сервисов/приложений
- Решение задач по автоматизации бизнес-процессов и написанию скриптов на языке Python
- RAG моделей (с использованием Langchain или др.)
- Fine-tuning open-source моделей
- Text-to-text, text-to-speech, speech-to-text NLP
- Работа с облачными платформами(Google Cloud, Yandex Cloud и др.)
- Использование no-code/low-code инструментов для сокращения издержек (Flowise, Make, Zapier Central, Relevance и др.)
🔸Важный навык:
- Свободное владение Английским языком
🔸Мы предлагаем:
- Интересные проекты с возможностью творческой реализации
- Возможность принять участие в выводе продуктов и сервисов бренда на международный рынок
- Возможность профессионального роста и нетворкинга с экспертами в сфере AI и ML со всего мира
- Карьерный рост до Team Lead или CTO одной из компаний
- Отсутствие привязки к месту и возможности легальной оплаты труда в любую точку мира
- Свобода мысли и принятия решений при реализации проектов
🔸Кого мы хотим видеть:
- амбициозных, инициативных и талантливых разработчиков, желающих достигать новых высот в сфере AI и ML, которые легко вольются в нашу молодую команду
(P.s. вам необязательно быть молодым, но обязательно быть с нами близким по духу)
💬Отправляйте резюме/CV/портфолио:@subscale_ai