Post #540

Как обучить текстовый эмбеддер на домен? Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает. Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен. В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области. Читайте новую статью по ссылке 🪔DeepSchool