Post #296

DINO/DINOv2 Благодаря успеху трансформеров в NLP появляется всё больше foundation models на базе этой архитектуры и в других доменах, например, в CV. Если трансформеры так хорошо предобучаются на неразмеченных корпусах текстов — почему бы не сделать это с картинками? Об этом и поговорим в нашей статье, а ещё расскажем: - почему предобучение vision-трансформеров лучше делать без разметки - чем хороши признаки vision-трансформеров, обученных с помощью DINO - в каких задачах можно применять предобученные таким способом модели Читайте новую статью по ссылке: https://deepschool-pro.notion.site/DINO-Self-distilation-with-no-labels-18e894250fae4e5d87e99a3312c1effd?pvs=4