Post #1663

Ян ЛеКун показал альтернативу генеративным VLM Meta* FAIR представила VL-JEPA — первую vision-language модель, которая не генерирует токены, а предсказывает смысл в абстрактном пространстве. Это развитие линии JEPA, которую ЛеКун продвигает как альтернативу генеративному подходу. Сначала был V-JEPA для видео (понимание физики мира), затем LeJEPA (теоретическое обоснование). Теперь — полноценная мультимодальная модель. Вместо того, чтобы предсказывать следующий токен как GPT/Claude, VL-JEPA предсказывает эмбеддинг — «смысл» ответа. Декодер в текст вызывается только когда нужно показать результат человеку. Результаты: - 1.6млрд параметров конкурирует с 72B Qwen-VL на задаче понимания действий - На 50% меньше обучаемых параметров при лучшем качестве в контролируемом сравнении - Декодирование в ~3 раза эффективнее за счёт selective decoding - Одна модель решает classification, retrieval и VQA без изменения архитектуры. Почему это важно?Генеративные VLM тратят ресурсы на моделирование поверхностных вариаций текста. VL-JEPA работает на уровне семантики, что даёт выигрыш в эффективности и скорости. Особенно важно для real-time приложений: робототехника, AR-очки, стриминг видео. Авторы говорят, что это не замена VLM для задач рассуждения, использования инструментов и агентного поведения — там генеративные модели пока лидируют. *запрещеннаяорганизация в России.