TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #982 · 7.05

Некоторые люди захейтили тему со сворачиванием пакетов, а Сергей даже написал большой антипост. Поэтому я решил порассуждать о бытовой оптимизации. На нашу организацию быта влияют три вещи: удобство, цена (в широком смысле, включая затраты времени) и приемлемость для общества. Например, выкидывать мусор в окно это удобно, быстро и бесплатно, но неприемлемо, поэтому, даже если кто-то так делает, его наказывают. Выкидывать мусор посреди собственной комнаты это быстро, приемлемо, но неудобно, поэтому тут уже люди сами себя ограничивают. Беда в том, что все три показателя в некоторой степени субъективны, даже последний. Парковаться двумя колёсами на тротуаре это приемлемо или нет? Для меня нет, и вроде даже какие-то законы против этого существуют, но де-факто в жилых дворах куча народу так делает, и никто им шины не протыкает и стёкла не бьёт. Потому что есть негласный общественный договор, что приоритет места для автомобилей во дворе выше, чем приоритет места для прогулок с колясками. Конкретно я для себя выработал в этом отношении такое правило: я не делаю то, за что критикую других. Если меня в принципе волнует проблема запаркованности дворов, то сам я во дворе не паркуюсь, и это даёт мне в моих глазах право эту проблему вообще обсуждать. И это право мне важнее, чем машина под окнами. А дальше уже идёт очень классическое "Как сделать так, чтобы волнующую тебя проблему заметило больше людей". Хорошего решения никто до сих пор не придумал, но всё, что есть, сводится более менее к расширению своего влияния. Можно попытаться стать политиком и повлиять на законы, можно попытаться стать богатым и переехать в собственный дом, можно попытаться стать лидером мнений и поднимать общественные движения. С удобством и ценой то же самое: у каждого человека есть личные взгляды на то, что нужно делать в быту, и какие затраты для этого оправданы. Кто-то делает уборку в квартире каждый день, кто-то раз в месяц, а кто-то — никогда. Здесь уже оценку можно провести разве что по впечатлению от некоторого усреднённого поведения людей в твоём обществе. В основном люди не кладут мусор посреди своей гостиной. В основном люди не моют окна каждый день. Субъективно я давно заметил, что моя страсть к порядку выше, чем в среднем по больнице. Когда я прихожу к кому-то в гости, я чаще вижу там то, что с моей точки зрения является отсутствием организации вещей. Иногда меня от этого коробит, и я где-то внутри кричу "Боже, как вы можете так жить?". Но глобально я смирился и подстроился. Моя жена склонна к порядку в той же степени, что и я, и тоже любит раскладывать всё по местам и поддерживать чистоту. А вместе с друзьями я не живу. Так что организация хранения пакетов в моём случае служит сразу двум вещам. Во-первых, мне приятно, что они организованы, и 30 секунд на сворачивание не являются для меня какой-то значимой ценой. Во-вторых, из всех нашумевших экологических проблем некоторые я считаю действительно серьёзными, и объём неразлагающегося мусора — одна из них. Если я хотя бы чуть-чуть могу уменьшить количество пакетов, которые будут выбрасываться (мной или людьми, которым понравилось решение по хранению пакетов и превращению их в мусорные) — я буду это делать. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research