TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #260 · 18.03

Закончил «Город и звёзды» Артура Кларка. Книга 1956 года на минуточку! И первое длинное произведение Кларка, которое я прочитал. Обычно для того, чтобы случился сюжет, нужен конфликт. Здесь же в некотором смысле конфликтом является отсутствие конфликтов. Сверхдалёкое будущее — миллиард лет вперёд от нашего времени. Земля давно превратилась в безжизненную пустыню, но остался один последний город, накрытый куполом и полностью поддерживающий сам себя. Город является гигантским искусственным интеллектом, способным управлять материей на атомном уровне, за счёт чего никакие вещи и здания в нём никогда не изнашиваются, автор описывает его буквально как застывший во времени. С помощью этой же технологии у людей решены абсолютно все проблемы: любой требуемый предмет мгновенно материализуется мысленной командой компьютеру, тела людей почти не стареют, не болеют, все возможные травмы излечиваются. Любопытно решена проблема бессмертия. Человеческий разум не справляется с памятью дольше определённой длины, поэтому при достижении тысячелетнего возраста каждый человек редактирует свои воспоминания, отмечая, что в своей личности он хотел бы оставить, а что убрать. После чего его сознание — уже с правками — помещается в память компьютера. И в произвольный момент в будущем будет создано новое молодое тело с этим сознанием, которое тоже проживёт 1000 лет. В памяти компьютера находятся сотни миллионов людей, но в городе одновременно живут около 10млн, и компьютер сам решает, кого и когда воскресить. Таким образом, в любой момент времени в городе живёт подмножество одних и тех же людей. Под куполом вечное лето и вечный день (люди больше не спят, это стало не нужно), нет никакой необходимости выполнять какую-то работу или выживать. Поэтому с нашей точки зрения жизнь местных удивительно скучна. Они столетиями развлекаются и играют в видеоигры — при этом разум человека погружается в аналог Матрицы, виртуальный мир с полной передачей всех ощущений, и ещё дополнительно в сознании блокируются участки памяти таким образом, чтобы ты частично осознавал себя настоящим персонажем игры. Деторождение тоже не нужно и давно утеряно. Семьи есть только условно — одни люди помогают другим, только что воскрешённым, постепенно пробуждать воспоминания из своей предыдущей жизни. Секс остался как что-то второстепенное, наряду с тысячами других видов досуга. Роман очень хорошо показывает, что иметь решение какой-то проблемы может быть хуже, чем не иметь. И вообще, наша жизнь во многом состоит в борьбе, преодолении, расширении границ познания и исследовании. Именно это делает её интересной, обладающей смыслом, а полное отсутствие такого смысла выглядит как смерть, даже при формально живом теле, продолжающем вести деятельность. Книга местами затянута, а некоторые повешенные на стены ружья так и не выстрелили. Но всё равно я получил изрядную долю удовольствия и новых размышлений, так что любителям фантастики рекомендую. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #flextok

当前筛选 #flextok清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple