Джеймс Хоган — «Звёзды в наследство»
Вообще это пенталогия, на русском вышли три книги, я прочитал все три, особенно мне понравилась первая, но и остальные достойные. Я вам как-то писал, что авторы нередко умеют придумывать интересные миры, но сюжет остаётся довольно простым и посредственным. Так вот, тут — обратная ситуация. Очень интересный сюжет, подобного которому я особо не встречал. Я бы сказал, что «Звёзды в наследство» — это научный детектив. Человечество в недалёком будущем сталкивается с необъяснимым феноменом: на Луне находят труп в скафандре, которому пятьдесят тысяч лет. И учёные с помощью научных методов разгадывают эту загадку.
При этом сама вселенная мне показалась не слишком правдоподобной. У автора в будущем царит всеобщий мир, дружба и демилитаризация, а ля «Полдень», но при этом сохранилась капиталистическая экономика, а государства заказывают у корпораций за деньги разного вида работу и технологии. Если у Стругацких мир на Земле неизбежно связан с коммунизмом и оценкой работы в терминах блага для общества, то здесь капитализм, в основе которого лежит конкуренция. Это и само по себе не вяжется, и по непонятной причине не привело в книге к росту влияния корпораций, подобно более классическим антиутопиям. Отдельно современному читателю будет заметна глубоко второстепенная роль женщин в сюжете. Для американца семидесятых это нормально, но сейчас странно читать про общество будущего, где абсолютно все учёные, руководители и инженеры мужчины, а женщины — просто красивые секретарши.
Однако, сюжет интересный и затягивает, если вы фанат всякого наукообразного и непротиворечивого. Точнее так: выкладки, связанные с программированием и работой ИИ (из второй и третьей книги) показались мне наивными, как специалисту. Но выкладки по теории эволюции очень зашли: например, автор одной небольшой эволюционной деталью показал, как гипотетически могло бы образоваться общество, в котором нет войн. Возможно, профессиональный антрополог кривился бы, а я прям кайфанул.
История появления первой книги тоже очень любопытная: Хоган работал продавцом электроники и жаловался коллегам на концовку фильма «Космическая одиссея 2001» и рассказов Артура Кларка, которые легли в основу (я согласен, концовка очень плохая). На что коллеги сказали ему, дескать, возьми и попробуй сам написать роман и сделать концовку лучше. Он и написал, роман стал супер популярным, и позже даже Артур Кларк при встрече признал, что концовка у Хогана получилась лучше. Впрочем, он добавил, что его «Одиссея» заработала больше денег. Типичные американцы.
Рекомендовать трилогию однозначно могу. #fiction
Поэтому вести борьбу с купцами счастья нужно неустанно и постоянно, как за зарплаты и нормальные условия труда. Победа на этом фронте сулит значительные успехи и на остальных.
Не слушайте игры нарядных дудочников. Думайте. Боритесь. @profcen_bot
#инсайд#мошенничество#mlm#сетевоймаркетинг
⚡️BERT is just a Single Text Diffusion Step
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работаетBERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research