TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1087 · 18.04

Мне очень нравится монолог детектива из фильма «Достать ножи: Стеклянная луковица». По сюжету эксцентричный миллиардер, «непонятый гений» Майлс Брон собирает своих друзей на личном острове на вечеринку, и закручивается дело. Детектив Бенуа Бланк, оказавшийся там же, проводит с этими мажорами несколько дней, и ближе к концу рассказывает им, как его осенило, и он нашёл ключ к делу. Классический детективный сюжет, но сам монолог очень проникновенный, потому что Бланк эмоционально сокрушается, рассказывая о том, как у него в голове что-то не сходилось, как нечто постоянно не давало ему покоя. Приводит в пример различные мелочи: миллиардер выдумывал несуществующие слова, неверно применял другие слова, ошибался в фактах, не самостоятельно делал всякие крутые вещи, которыми хвастается, а то, что сделал или придумал он сам, оказалось неработоспособно. И он приходит к такому выводу: Майлс Брон на самом деле идиот. Он глупый. Заработанные им деньги и миллиардная корпорация объясняются как-то ещё (в итоге сюжет даёт ответы на это), а чел просто тупой. И с помощью принятия этой гипотезы куча деталей встали на свои места. Вот и в жизни можно применять. Если ты слишком долго не можешь объяснить поведение какого-то человека, попробуй предположить, что он тупой. Почти Бритва Хэнлона, но более персонализированная. Бывший игрок в интеллектуальную игру несёт отборнейшую неадекватную ересь? Возможно, он просто тупой, а навык игры это единственное, что он в себе развивал. Автор хороших текстов становится наглухо отбитым пропагандистом сомнительной политической позиции? Возможно, он просто тупой, а способность сочинять тексты не даёт умение адекватно видеть вещи вокруг. Опытный специалист в какой-то сфере отрицает профессиональные подходы? Возможно, он просто тупой, а годы работы не сказались значимо на росте навыков. Знаменитый владелец крупного сервиса придумывает неправдоподобные кринжовые оправдания своих косяков? Возможно,... хотя не, в этом случае обычно идёт игра на публику и вера в то, что тупые как раз зрители. Но тоже так себе. И всё равно, в большом подмножестве случаев метод, кажется, работает.#life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research