TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #134 · 7.01

Прогулялись вчера по праздничному городу, и я вновь посокрушался о том, как мало места выделено пешеходам по сравнению с автомобилями. Вообще, среди идеологий нового времени именно урбанистика выделяется по ряду критериев. Да, её, как и многие другие идеологии (например, равноправие полов) исповедуют прогрессивные люди, а широкие массы встречают в штыки. Да, она, как и многие другие идеологии, вступает в конфликт с привычным исторически сложившимся образом жизни. Встретить в интернете спор урбанистов с, например, автомобилистами ничуть не сложнее, чем спор феминисток с адептами патриархата. Но есть особенности. Во-первых, некоторые урбанистические постулаты достаточно надёжно подтверждены и математикой, и реальными городами. Например, то, что строительство новых дорог не уменьшает, а увеличивает количество пробок — практически объективная истина. Здесь нет разных взглядов и разных мнений, это просто факт. Чиновник, который сражается с пробками с помощью новых полос и развязок, совершенно точно не знаком с вопросом и совершает ошибку, никакого другого варианта не может быть. И у многих других городских проблем есть уже выработанное объективное решение, которое действует: у грязи на тротуарах, у луж, у отсутствия свободной парковки итд. Во-вторых, урбанисты, как мне кажется, подвергаются необоснованно высокой агрессии. Понятно, что адепт любой идеологии будет критиковаться её противниками. И когда сторонник вакцинации получает от антипрививочника гневную оскорбительную тираду — это можно объяснить. С точки зрения антипрививочника ему предлагают буквально травить себя химией, здесь обоснована агрессия в ответ. Но вот если урбанист предлагает автомобилистам отдать часть дороги под велосипедные полосы — на мой взгляд степень того неудобства, которое испытают автомобилисты, не настолько высока, чтобы оправдать высокий уровень гнева в их реакции на такое предложение. Однако, в обсуждениях в сети на урбанистов наезжают не менее агрессивно, чем на сторонников вакцинации и представителей других идеологий с радикальными противниками. До России урбанистика вряд ли дойдет в ближайшие полвека. Слишком много других социальных институтов должны встать на ноги перед этим, а они даже не начинают. Но за более прогрессивным в этом отношении миром (в основном, Западной Европой) наблюдать интересно. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research