查找相似内容

⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом. Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее. Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps). Процесс: - Дали чёткий рецепт, а не случайные гипотезы. - Показали, что процесс можно повторять с одинаковым результатом. - Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется. Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее. Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз». ✔️ Правила от команды Thinking Machines 1. Ставить LoRA на все слои, а не только на attention. 2. Использовать ~10× больший learning rate, чем обычно. 3. Не раздувать batch size - иначе падает стабильность. ✔️Что в итоге: - Кривые обучения LoRA почти совпадают с full fine-tuning. - Даже в упоре в лимит адаптера модель ведёт себя плавно. - Вычислений требуется на треть меньше, чем у FullFT. LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга. Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить. Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов. 📌Подробнее @ai_machinelearning_big_data #LoRA#FineTuning#AI#MachineLearning#DeepLearning#LLM

#вакансия#промпт#инженер#rag#finetuning#remote Есть достаточно обьемная методология согласно которой ai должен делать оценку соискателя. Сейчас есть МВП - воркфлоу на Н8Н, но результаты автоматической генерации по методикам явно недотягивают до результатов оценки квалифицированного психолога.(полноценное тз под нда) Стек: - Prompting skills - RAG and Vector Databases - Fine-tuning Language Models - Workflow Automation (n8n) - Data Structuring with JSON - Python, langchain Компания: физ. лицо (небольшая команда) Занятость: проектная, объем работы 1-2 месяца Формат работы: удаленно Вилка: почасовая оплата от 1500 до 1800 руб/час Вариант трудоустройства: неофициальное либо договор ГПХ Только с портфолио выполненных проектов подобных задаче Ваши резюме сюда: @Biduero

#MLEngineer#DataScientist#remote#parttime#project#NLP#RAG#finetuning#USA#удаленно#парттайм#AI#agent#LLM #Senior#Middle ML Engineer / Data Scientist / NLP Engineer 📍Удалённо, парт-тайм Занятость: проектная почасовая Оплата: 2000 - 2500₽ /час (USD ≤30) AInnovator — занимается разработкой и внедрением AI/ML решений для среднего и крупного бизнеса в России, США и Канаде Задачи: ▫️Написание RAG-пайплайнов ▫️Обучение LLM на корпоративных датасетах заказчиков on-premise ▫️Построение моделей кластеризации и семантического поиска ▫️Создание мультиагентных LLM-систем ▫️Интеграция с бэкендом (FastAPI, Flask) ▫️Работа с реляционными БД (PostgreSQL, alembic) ▫️Рефакторинг существующего ML-кода Формат работы: ▪️Участие в проектной команде (backend + devops) ▪️Scrumban: трек задач в Kanban + 1-2х-недельные спринты ▪️Оплата результата по фактически отработанным часам ▪️Отсутствие жесткой привязки по времени Мы предлагаем: ▫️Интересные AI-проекты на Российском и Американском рынке ▫️Возможности для творческой реализации и развития навыков ▫️Карьерный рост до Team/Tech Lead ▫️Возможность принять участие в выводе продуктов и сервисов на международный рынок ▫️Отсутствие привязки к месту и возможность оплаты труда в любую точку мира ▫️Возможность дальнейшего фулл-тайм трудоустройства (в США, РФ, Грузии) Мы предоставляем корпоративный доступ к: ▪️Cursor / WindSurf / Manus или др. ▪️Promptmetheus (для удобства промпт-инжиниринга) ▪️Надежному VPN-сервису Наши приоритеты (которые ожидаем и от вас): ▫️Быстрая и прямая коммуникация ▫️Ответственность за выполнение взятых обязательств ▫️Соблюдение сроков без напоминаний 💭 Связаться: @hr_aisors — отправляйте CV, пригласим на скрининг и обсудим детали

#вакансия#vacancy#удаленка#remote#AI#мидл#Middle#синьор#Senior#ai#ии#ml#мл#llm#RAG#fullstack#finetuning#NLP#langchain#DataScientist#DataEngineer#MLengineer#api#aideveloper#python ❇️Вакансия: «AI Developer / ИИ Разработчик» Middle/Senior Формат: удаленно по всему миру Наш часовой пояс: UTC+3 Занятость: проектная с переходом в полную Оплата: до 350.000₽ за проект или почасовая Мы мультибренд занимающийся разработкой и внедрением AI и ML технологий во всех коммерческих отраслях В связи с расширением мы ищем новых специалистов в нашу команду, а именно: AI Developer, Data Scientist, Data Engineer, ML Engineer 🔸Направления нашей работы: - Внедрение ИИ/ML для автоматизации процессов - Внедрение ИИ/ML в web сервисы, браузерные расширения и приложения(mobile) - Создание продвинутых функциональных AI-Ассистентов - Обучение/дообучение моделей - Разработка AI/ML SaaS 🔸Какие задачи вам предстоит решать: - Работа с LLM(Anthropic, Gemini, OpenAI, Llama, Mistral и др) - Взаимодействие с API различных сервисов/приложений - Решение задач по автоматизации бизнес-процессов и написанию скриптов на языке Python - RAG моделей (с использованием Langchain или др.) - Fine-tuning open-source моделей - Text-to-text, text-to-speech, speech-to-text NLP - Работа с облачными платформами(Google Cloud, Yandex Cloud и др.) - Использование no-code/low-code инструментов для сокращения издержек (Flowise, Make, Zapier Central, Relevance и др.) 🔸Важный навык: - Свободное владение Английским языком 🔸Мы предлагаем: - Интересные проекты с возможностью творческой реализации - Возможность принять участие в выводе продуктов и сервисов бренда на международный рынок - Возможность профессионального роста и нетворкинга с экспертами в сфере AI и ML со всего мира - Карьерный рост до Team Lead или CTO одной из компаний - Отсутствие привязки к месту и возможности легальной оплаты труда в любую точку мира - Свобода мысли и принятия решений при реализации проектов 🔸Кого мы хотим видеть: - амбициозных, инициативных и талантливых разработчиков, желающих достигать новых высот в сфере AI и ML, которые легко вольются в нашу молодую команду (P.s. вам необязательно быть молодым, но обязательно быть с нами близким по духу) 💬Отправляйте резюме/CV/портфолио:@subscale_ai