Воттоваара — хорошее место для первой в вашей жизни горной экскурсии. Там всего по чуть-чуть: чуть-чуть подъёма (максимальный уклон градусов 60 от горизонта), чуть-чуть горной тропы (длина пути до верха около 2км), чуть-чуть высоты (417 метров). Хардкорные трекеры и хайкеры преодолевают такие участки одной ногой, не прекращая завтрак. Но неподготовленный человек сможет понять, есть ли для него смысл пытаться идти в какие-то более сложные горы.
Даже "заброс" на гору есть. Но если в больших горах это вертолёт или вездеход по болоту, то здесь вас около часа везут на внедорожнике через камни и лужи метровой глубины. Да, обычный автомобиль (даже кроссовер) там не пройдёт совершенно никак, нужен высокий, полноприводный и обязательно со шнорхелем. Но это всё равно более доступная территория, чем какое-нибудь Плато Путорана, куда вообще не рекомендуют соваться туристам без хорошего опыта пеших походов.
Впрочем, тут ироничный момент. База отдыха на подъезде живёт исключительно на туристах, которые хотят посетить Воттоваару. Теоретически она могла бы проспонсировать если не асфальтирование, то хотя бы проход грейдера по "дороге" и присыпку грунтом: это существенно уменьшило бы степень опасности для людей и степень износа техники, а также значительно подняло бы удобство и скорость доставки. Но тогда люди могли бы добраться на своих машинах и не брать на базе дорогой трансфер. Думаю, в какой-то момент и внедорожники потеряют способность проезжать там, нужен будет гусеничный вездеход.
Прикольно, что, чем выше идёшь, тем ниже деревья. Гора как бы награждает тебя за усилия всё более красивыми и просторными видами. В целом территория будто бы инопланетная. Очень странно себя там чувствуешь — ты словно и не на Земле уже, и вообще не в реальности, а внутри какого-то странного рисунка.
#travel
Поэтому вести борьбу с купцами счастья нужно неустанно и постоянно, как за зарплаты и нормальные условия труда. Победа на этом фронте сулит значительные успехи и на остальных.
Не слушайте игры нарядных дудочников. Думайте. Боритесь. @profcen_bot
#инсайд#мошенничество#mlm#сетевоймаркетинг
⚡️BERT is just a Single Text Diffusion Step
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работаетBERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research