TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1106 · 12.06

Две новости последних дней: 1. Гильдия актёров озвучки видеоигр в США закончила годовую забастовку, выбив себе особые условия по использованию их голосов в ИИ 2. Крупнейшие медиагиганты Disney и Universal подали в суд на Midjourney за незаконное использование их изображений в обучении нейросети Обычно в таких темах люди делятся на две группы. Одна говорит, что ИИ обучается как и человек, только быстрее, поэтому подобные запреты приближаются по смыслу к запрету людям обучаться на работах других людей, что немыслимо. Другая говорит, что ИИ комбинирует кусочки существующих данных, просто очень хитрым образом, но всё равно это нарушение, потому что человек тоже не может вырезать кусок чужого изображения и где-то его использовать, не имея на это прав. Я считаю, что у нас на лицо сценарий романа Стругацких «Далёкая радуга» — человечество кинулось лавинообразно исследовать и расширять некоторое явление, для которого не изучены последствия и не выработаны правила и меры предосторожности. У нас нет ни хорошей юридической практики обращения с нейросетями, ни защиты от возможного коллапса экономики из-за потери сотен тысяч рабочих мест, ни контроля за данными в интернете, которые постепенно превращают поисковые выдачи текста, картинок и видео в неконтролируемый мусор. Да, корпорациям очень хочется понастроить себе датацентров с ИИ, чтобы выгнать людей и не платить зарплаты. Иронично, что другие крупные корпорации сейчас этому частично противятся, но, я вас уверяю, тому же Диснею абсолютно плевать на своих художников, и они тоже с радостью заменят их на тот же Midjourney, как только нейросети поднимутся ещё на пару градаций по качеству и предсказуемости. Окей, когда ИИ заменит программистов, никто не будет особо горевать из-за исчезновения дорогих зажравшихся айтишников-выскочек. Но с художниками ситуация сложнее. В теории мы рискуем потерять огромный пласт человеческой культуры, потому что работа людей-художников перестанет цениться, а сами художники не смогут эффективно презентовать себя в потоке нейрошлака. И с этой позиции конкретно сейчас Дисней с Юниверсалом делают благое дело. Вот только, по-видимому, они сильно опоздали. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research