Намери подобно съдържание

Изходен канал @clockstackwheels · Post #968 · 28.03

Стругацкие, «Волны гасят ветер». Книга оформлена в виде как бы отчётов о расследовании, хотя и здесь авторы дали себе вольность и с самого начала обосновали, почему эти отчёты составлены художественным языком. Вообще, мне очень нравится идея прогрессорства. «Прогрессор» — это представитель высокоразвитой цивилизации, который тайно и, хм, насильственно влияет на ход истории более примитивной цивилизации, чтобы направить её на истинный путь. Тайно — чтобы не шокировать неокрепшие умы «неандертальцев». Насильственно — потому что примитивная цивилизация не осознаёт своего счастья и сопротивляется добру. Эта идея мне нравится своей реалистичностью. Если мы посмотрим какой-нибудь «Стартрек», то там много пафоса о том, что, дескать, люди будущего ни в коем случае не должны вмешиваться в недоразвитые устои условных средневековых обществ с других планет. Вокруг этой идеи сосредоточено очень много драмы: бабуины захватили в плен твоего коллегу-звездолётчика, и ты вроде бы можешь их всех раскидать с помощью бластера, но не должен этого делать, и вот какое сложное решение, как же быть... Выглядит, как наигранная беззубость и малодушие, прикрытые идеалистическим гуманизмом (который не работает). Всем понятно, что в реальности от бабуинов не осталось бы мокрого места по праву сильного, а может и другим бабуинам тоже досталось бы в качестве урока. Так что у Стругацких даже очень просветлённые и живущие в коммунистическом раю представители человечества с лёгкостью используют свои технологии, чтобы перекраивать и навязывать. Но когда что-то подобное вроде бы начинают делать уже с самими Землянами, поднимается паника (среди тех, кому об этом известно). Там даже есть такие рассуждения: боимся не того, что ещё более сильная цивилизация причинит нам зло, а того, что она причинит нам добро так, как сама это понимает. Концовка, конечно, переворачивает всё с ног на голову, и я бы сказал, что фантазия авторов в этом месте пошла слишком уж далеко. Ну, а к чувству незавершённости после каждого романа Стругацких я уже потихоньку привык. В целом интересно и как часть трилогии, и даже как вполне самостоятельное произведение, хотя с миром всё равно полезно быть знакомому, чтобы лучше понимать происходящее. #fiction

Hashtags

#fiction

Резултати

Намерени 1 подобни публикации

Търсене: #flextok

当前筛选 #flextok清除筛选

Machinelearning

@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01

Намери подобни Прегледай

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple

Hashtags

#ai #ml #tokenizer #flextok #apple