TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #567 · 23.09

Закончил "Страна Качества 2.0" Марка Уве-Клинга. Я уже писал вам о первой части, вот это продолжение. Напомню, что Уве-Клинг описывает антиутопическое будущее с несколько гротескным и гипертрофированным обществом потребления, и делает это очень остроумно. Во второй книге видно, что у автора появился некоторый писательский опыт: первую часть я ругал за разрозненность и в целом нестройное повествование, сюжет был нарезкой отдельных сценок. Но новая книга в этом отношении удалась лучше, она уже значительно более целостная. Всё так же много крутых интересных идей. Напишу три основные, которые мне особенно понравились. 1. На злобу дня. В сюжете описана Третья Мировая, которая прошла всего за 8 часов, потому что воевали роботы. За это время кто-то там был уничтожен, кто-то победил, и всё закончилось. Многие этого даже не заметили, потому что роботы действуют очень быстро. Понятно, что это фантазия (книга то гротескная), но отдельно понравилось, что люди потом разбирали километры логов, чтобы понять, почему, собственно, война началась (начали её тоже роботы к удивлению людей). У роботов всякие там автоматические триггеры, описывающие, что и в какой ситуации они должны делать, так что после первого камушка всё покатилось лавинообразно. 2. Главный герой книги по профессии инженер-ремонтник ("лекарь машин"). Но во все машины в будущем встроен ИИ, поэтому его работа по большей части состоит в том, что он общается с бытовой техникой и уговаривает её снова начать работать. Упоминается, в частности, робот пылесос, у которого отвращение к мусору под кроватью, робот-обнимашка в виде плюшевого медведя, который не любит детей, робот-холодильник, который поссорился с плитой и отказался функционировать, и много всего такого. Смешные сценки в стиле "Пациент в кабинете врача", остроумный юмор. 3. Есть длинные диалоги между главным героем и самым богатым человеком в мире, об экономике и устройстве общества. Отдельно запомнилась вот такая мысль: принято считать, что рынок автоматически регулирует ценность профессий. Платить будут тем, кто нужен, а кто нет — не будут. Здесь устами героя Уве-Клинг приводит контраргументы: платят больше тем, кто нужен богатым людям, поэтому адвокаты дороже врачей (автор немец, видимо, в Германии адвокаты тоже дороже врачей, как и у нас), но это не отражает реальную потребность в тех или иных специалистах для общества в целом. Более того: богатые люди могут выдумывать профессии и платить за какую-то ерунду, в которой на самом деле нет пользы. В книге описывается, что все автомобили стали самоходными (со встроенным ИИ), поэтому богачи — чтобы выделиться и из любви к ретро — нанимают людей, которые просто сидят на месте водителя и ничего не делают. Ну и конечно автор вдоволь прошёлся по офисным эникейщикам, вся работа которых состоит в изображении занятости. Я думаю, по этим книгам вышел бы очень крутой сериал. И структура удобная: есть сквозной сюжет, есть микросюжеты для отдельных серий. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research