TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #965 · 15.03

Аркадий и Борис Стругацкие, «Жук в муравейнике». Вторая книга про Максима Камерера, сюжет которой напрямую с первой частью не связан, но связан косвенно, о чём я подробнее расскажу в посте о третьей книге. Сюжет «Жука» сравнительно простой: земляне находят инопланетную капсулу с человеческими эмбрионами, решают этих людей вырастить, но постоянно ждут, что в них заложена какая-то программа. И один из этих людей в какой-то момент начинает действовать странно. Спойлерну, что ответ на вопрос, запустилась ли программа, явно так и не был дан, хотя персонально я думаю, что запустилась. Корневая идея повести напрямую высказывается одним из персонажей: даже очень рациональные люди, если их задача состоит в защите от угроз, должны предполагать всякое нерациональное и даже мистическое, а также действовать активнее, чем может того требует ситуация. «И если в нашем доме вдруг завоняло серой, мы просто не имеем права пускаться в рассуждения о молекулярных флюктуациях — мы обязаны предположить, что где–то рядом объявился черт с рогами, и принять соответствующие меры, вплоть до организации производства святой воды в промышленных масштабах. И слава богу, если окажется, что это была всего лишь флюктуация, и над нами будет хохотать весь Всемирный совет и все школяры в придачу…» Если точнее, то книга ставит вопрос: как найти баланс между разумной предосторожностью и панической истерией? Какой процент уверенности в наличии угрозы должен быть, чтобы мы начали действовать превентивно? Я встречал мнение, что, дескать, никакой: никогда нельзя действовать превентивно, никогда нельзя нападать первому, и нападающий виноват всегда. Эта простая и даже в каком-то смысле детская модель, разумеется, не выдерживает не только проверку реальностью, но и проверку вполне существующей практикой действий полиции и спецслужб во всех без исключения странах, даже максимально гуманистических (или представляющих себя таковыми). Ещё, раз уж мы говорим о фантастике, на эту же тему можно вспомнить фильм «Особое мнение», хотя в нём идею развили гораздо слабее, чем это можно было бы сделать, на мой взгляд. В остальном классическая для Стругацких недосказанность проявилась и здесь. С одной стороны, это плохо, потому что многие авторы предлагают ответы на собственные же вопросы. Фантасты, как правило, образованные интеллектуалы, и мне вот вполне интересно почитать, как бы они предлагали решать те или иные проблемы социума. С другой стороны, у Стругацких получается прям реалистично — ты будто бы новости прочитал или какой-то отчёт о реальных событиях, где нет мнения, просто изложены факты, а дальше думай сам. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research