TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #199 · 2.02

Закончил «Нейромант» Уильяма Гибсона. Для своего времени (середина восьмидесятых) это было прорывное произведение, которое если не изобрело, то закрепило жанр киберпанка в его текущем виде. Но мне не очень понравилось. Во-первых, иногда всё-таки плохо браться за чтение спустя много десятилетий. Книга ввела такой удачный мир, что заимствования из него с тех пор встречаются в фантастике постоянно. И особенно — в произведениях на тему киберпанка, компьютеров, хакерства и так далее. Умом я понимал, что сейчас вот читаю первоисточник, но эмоционально не отступало чувство, что я всё это уже видел в The Matrix, Deus Ex, Ghost in the Shell, Bladerunner, Cyberpunk, наконец! Во-вторых, профдеформация мешала мне серьёзно воспринимать те художественные образы, которыми автор описывал киберпространство и происходящее в нём. В целом аналогия красивая: цифровая защита в романе выглядит, как стена льда, а хакер проламывается сквозь неё, совершая некоторое сложное взаимодействие с узором этого льда. Но для меня местный виртуальный мир представлялся совсем уж наивным и нереалистичным. В-третьих, и это, пожалуй, самое главное — у меня были сложности с восприятием событий, действий героев, их мотивации. Я бы сказал, что текст написан тяжело (хотя, возможно, это проблема перевода). Ты не всегда понимаешь, какая именно сцена сейчас. Иногда совсем не понимаешь, почему герой внезапно что-то сказал или сделал. Ну и, в конце-концов, я не совсем понял основную сюжетную подоплёку. Понял, но не в деталях. В том числе причины, по которым персонажи что-то сделали или захотели сделать. Тем не менее, от процесса я удовольствие получал, бросить не хотелось, узнать развязку было любопытно. По этой книге можно было бы снять шикарнейший фильм, почти ничего не переделывая в сюжете. И важность этого произведения для мира переоценить сложно. Роман был очень популярен среди технарей того времени, многие из которых стали авторами первых языков программирования, гипертекстовой разметки, создавали первые компьютерные сети и так далее. Американский писатель Джек Уомак заметил интересную вещь: «Может ли быть так, что видение Гибсоном глобального информационного пространства в конечном счёте стало причиной, по которой Интернет сегодня выглядит так, как он выглядит, и работает так, как он работает?». #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research