⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле
Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом.
Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее.
Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps).
Процесс:
- Дали чёткий рецепт, а не случайные гипотезы.
- Показали, что процесс можно повторять с одинаковым результатом.
- Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется.
Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее.
Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз».
✔️ Правила от команды Thinking Machines
1. Ставить LoRA на все слои, а не только на attention.
2. Использовать ~10× больший learning rate, чем обычно.
3. Не раздувать batch size - иначе падает стабильность.
✔️Что в итоге:
- Кривые обучения LoRA почти совпадают с full fine-tuning.
- Даже в упоре в лимит адаптера модель ведёт себя плавно.
- Вычислений требуется на треть меньше, чем у FullFT.
LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга.
Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить.
Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов.
📌Подробнее
@ai_machinelearning_big_data
#LoRA#FineTuning#AI#MachineLearning#DeepLearning#LLM
#вакансия#промпт#инженер#rag#finetuning#remote
Есть достаточно обьемная методология согласно которой ai должен делать оценку соискателя. Сейчас есть МВП - воркфлоу на Н8Н, но результаты автоматической генерации по методикам явно недотягивают до результатов оценки квалифицированного психолога.(полноценное тз под нда)
Стек:
- Prompting skills
- RAG and Vector Databases
- Fine-tuning Language Models
- Workflow Automation (n8n)
- Data Structuring with JSON
- Python, langchain
Компания: физ. лицо (небольшая команда)
Занятость: проектная, объем работы 1-2 месяца
Формат работы: удаленно
Вилка: почасовая оплата от 1500 до 1800 руб/час
Вариант трудоустройства: неофициальное либо договор ГПХ
Только с портфолио выполненных проектов подобных задаче
Ваши резюме сюда: @Biduero
#MLEngineer#DataScientist#remote#parttime#project#NLP#RAG#finetuning#USA#удаленно#парттайм#AI#agent#LLM
#Senior#Middle
ML Engineer / Data Scientist / NLP Engineer
📍Удалённо, парт-тайм
Занятость: проектная почасовая
Оплата: 2000 - 2500₽ /час (USD ≤30)
AInnovator — занимается разработкой и внедрением AI/ML решений для среднего и крупного бизнеса в России, США и Канаде
Задачи:
▫️Написание RAG-пайплайнов
▫️Обучение LLM на корпоративных датасетах заказчиков on-premise
▫️Построение моделей кластеризации и семантического поиска
▫️Создание мультиагентных LLM-систем
▫️Интеграция с бэкендом (FastAPI, Flask)
▫️Работа с реляционными БД (PostgreSQL, alembic)
▫️Рефакторинг существующего ML-кода
Формат работы:
▪️Участие в проектной команде (backend + devops)
▪️Scrumban: трек задач в Kanban + 1-2х-недельные спринты
▪️Оплата результата по фактически отработанным часам
▪️Отсутствие жесткой привязки по времени
Мы предлагаем:
▫️Интересные AI-проекты на Российском и Американском рынке
▫️Возможности для творческой реализации и развития навыков
▫️Карьерный рост до Team/Tech Lead
▫️Возможность принять участие в выводе продуктов и сервисов на международный рынок
▫️Отсутствие привязки к месту и возможность оплаты труда в любую точку мира
▫️Возможность дальнейшего фулл-тайм трудоустройства (в США, РФ, Грузии)
Мы предоставляем корпоративный доступ к:
▪️Cursor / WindSurf / Manus или др.
▪️Promptmetheus (для удобства промпт-инжиниринга)
▪️Надежному VPN-сервису
Наши приоритеты (которые ожидаем и от вас):
▫️Быстрая и прямая коммуникация
▫️Ответственность за выполнение взятых обязательств
▫️Соблюдение сроков без напоминаний
💭 Связаться:
@hr_aisors — отправляйте CV, пригласим на скрининг и обсудим детали
#вакансия#vacancy#удаленка#remote#AI#мидл#Middle#синьор#Senior#ai#ии#ml#мл#llm#RAG#fullstack#finetuning#NLP#langchain#DataScientist#DataEngineer#MLengineer#api#aideveloper#python
❇️Вакансия: «AI Developer / ИИ Разработчик» Middle/Senior
Формат: удаленно по всему миру
Наш часовой пояс: UTC+3
Занятость: проектная с переходом в полную
Оплата: до 350.000₽ за проект или почасовая
Мы мультибренд занимающийся разработкой и внедрением AI и ML технологий во всех коммерческих отраслях
В связи с расширением мы ищем новых специалистов в нашу команду, а именно: AI Developer, Data Scientist, Data Engineer, ML Engineer
🔸Направления нашей работы:
- Внедрение ИИ/ML для автоматизации процессов
- Внедрение ИИ/ML в web сервисы, браузерные расширения и приложения(mobile)
- Создание продвинутых функциональных AI-Ассистентов
- Обучение/дообучение моделей
- Разработка AI/ML SaaS
🔸Какие задачи вам предстоит решать:
- Работа с LLM(Anthropic, Gemini, OpenAI, Llama, Mistral и др)
- Взаимодействие с API различных сервисов/приложений
- Решение задач по автоматизации бизнес-процессов и написанию скриптов на языке Python
- RAG моделей (с использованием Langchain или др.)
- Fine-tuning open-source моделей
- Text-to-text, text-to-speech, speech-to-text NLP
- Работа с облачными платформами(Google Cloud, Yandex Cloud и др.)
- Использование no-code/low-code инструментов для сокращения издержек (Flowise, Make, Zapier Central, Relevance и др.)
🔸Важный навык:
- Свободное владение Английским языком
🔸Мы предлагаем:
- Интересные проекты с возможностью творческой реализации
- Возможность принять участие в выводе продуктов и сервисов бренда на международный рынок
- Возможность профессионального роста и нетворкинга с экспертами в сфере AI и ML со всего мира
- Карьерный рост до Team Lead или CTO одной из компаний
- Отсутствие привязки к месту и возможности легальной оплаты труда в любую точку мира
- Свобода мысли и принятия решений при реализации проектов
🔸Кого мы хотим видеть:
- амбициозных, инициативных и талантливых разработчиков, желающих достигать новых высот в сфере AI и ML, которые легко вольются в нашу молодую команду
(P.s. вам необязательно быть молодым, но обязательно быть с нами близким по духу)
💬Отправляйте резюме/CV/портфолио:@subscale_ai