TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #842 · 4.07

ВК пишет, что на самом верху перестановки: гендир соцсети Марина Краснова вместе с техническим директором и вице-президентом Александром Тоболем покидают пост, чтобы "заниматься собственным проектом". По этому поводу отлично высказалась Людмила Кудрявцева, с которой я согласен, как минимум, в двух тезисах: Во-первых, перестановку такого уровня не делают, если в компании всё хорошо. Хотя мы за годы правления Марины Красновой видели очень много громких заявлений об очередном преодолённом рубеже по пользователям, а сама соцсеть полностью игнорировала падение репутации, жалобы авторов контента, отток людей в Телеграм и так далее. Во-вторых, у соцсети фактически нет лица с момента ухода Дурова, и теперь уже официально. Ни Андрей Рогозов, ни Марина Краснова не вели внятную человеческую онлайн-деятельность с презентацией того, чем продукт живёт и куда движется, как это делал Дуров (и делает сейчас относительно Телеграма), но они всё-таки хотя бы формально занимали пост руководителя. Сейчас же даже на роль говорящей головы для сухих отчётов в СМИ никто не назначен, и нет заявлений, что подобный человек ищется. Поражает другое. Я знаком с десятками сотрудников ВК, и большинство из них — офигенно крутые, умные, интересные люди, действительно горящие своей работой и переживающие за качество и популярность продукта. При этом, что творится в топ-менеджменте, я совершенно не понимаю (вангую, что сотрудники сами не понимают). Создаётся устойчивое впечатление, будто бы ВК для топов это просто способ напилить себе бабла, чтобы потом уйти заниматься чем-то другим, что интересует их больше. Ни Марина Краснова, ни Александр Тоболь не выглядели людьми, которым есть дело до продукта в целом, а не до пары личных местечковых инициатив типа мёртворожденного NFT. Кто-то запомнил что-нибудь, что они сделали, какой-то прорыв, какой-то яркий образ в интернете может, какие-то технические достижения? Александр вот отвечал за видеоплатформу, которая до сих пор один из самых технически слабых разделов ВК, не говоря уже об отставании в продуктовых ожиданиях типа "замена ютубу". Я, кстати, у него забанен, хотя никогда ему и про него ничего плохого не писал — отличная работа с критикой. В общем, желаю ВК дальше держаться на плечах крутых сотрудников, которым не всё равно. А что до топов — видимо, не так и плохо, что никто конкретный теперь на эту роль назначен не будет. #web

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #roberta

当前筛选 #roberta清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8817 · 20.10.2025 г., 20:41

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research