TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1189 · 13.12

Это текст Александра Беспалова, но его в Телеграме нет, поэтому просто процитирую тут. Это второй репост за всю историю канала, но очень уж понравилась Поговорил с чатом о Канте, получилось забавно. Одна из основных мыслей Канта, которая потом поломала всю философию была такая, что "априорные категории (причинность, время, пространство,...) создают возможность эмпирического познания". Т.е. знание науки это не отражение (иногда ошибочное) природы, как считали ранее. Это результат наложения каких-то "встроенных (в голову) схем" на опыт жизни, для получения какого-то вторичного продукта, который называется — "мир-для-нас". А "мир-как-есть" для нас недоступен, в принципе. Дальнейшее развитие философии происходило в обсуждении, насколько вообще ок так делать и можно ли с этим всем хоть что-то познать вообще? Что создало для философии XX века ощущение полной шизы и бессмысленного копания в смыслах слов. Но это, в наше время, банальное наблюдение, которое все и так знают, более ли менее (если не кондовые сциентисты). И "истина" в этом смысле это просто более устойчивое соответствие модели эксперименту (запомните это определение слова). Под устойчивостью понимается то, что соответствие не рушится от изменения среды. Допустим, мы считаем, что от тяжести вещи зависит скорость падения. Это наша модель. Тут приходит Галилей и начинает по наклонной плоскости катить шарики разного веса и они всегда разгоняются более ли менее одинаково. Модель не устойчива к изменению "среды". А вот модель, где ускорение свободного падения не зависит от массы, устойчива к наблюдениям кидания шариков разной массы с разным ускорением, потому что можно легко туда добавить сопротивление воздуха и получить разные разгоны на выходе. Но это тоже довольно обычно, как мне показалось. А вот что меня зацепило, это то, что из этого следует, что "истина" это не универсальная цель или метафизический эталон, а часть противоречивого эволюционного механизма выживания. Если модель более устойчива к изменению контекста, то общество, которое ей обладает, способно приспособиться к более широкому спектру возможных сред обитания (относительно обществ, которые не обладают "истиной"). При этом (как положено внутри эволюционных механизмов), внутри хорошо структурированного общества "стремление к истине" это не самая удачная личная стратегия выживания. Хорошо структурированное общество создает внутри себя устойчивый контекст, в котором начинают эффективно работать простые эвристики (чувствительные к любым изменениям контекста). Они гораздо менее энергозатратные, чем "стремление к истине". И на личном уровне, внутри структурированного общества, стремление к истине (как модели устойчивой к изменениям) может быть просто вредно. Поэтому в обществе организуются пласты создателей и потребителей инфоцыганского и сходного контента. Этот пласт перераспределяет ресурсы внутри общества, но НЕ делает общество более адаптивным к возможным изменениям среды. Если общество начинает состоять только из таких людей, оно рушится, потому что не способно выдержать никаких изменений. Но в этом и хитрость эволюции. Выживают только те структурированные общества, где хоть как-то это (на личном уровне не эффективное) стремление к "истине" проявлено. Оно позволяет протащить общество через изменения за счет более устойчивых моделей (само)управления. И вот мы приходим через тысячи лет эволюции к состоянию, где "истина" сакрализируется, потому что (на личном уровне и в контексте общества) вообще непонятно нахрена это все нужно. Отсюда метафизическое представление Канта об истине как об имманентном свойстве суждения (как бы это часть способности мыслить, в принципе. Без нее нет смысла говорить об осмысленной деятельности). Но ларчик (возможно) открывается проще. Все общества, где "истина" это не ценность хотя бы для некоторой части людей, умерли. И все общества, где она обесценится, исчезнут. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #flextok

当前筛选 #flextok清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple