TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #499 · 10.08

В массовых источниках информации пишут, что в Сочи сейчас дикие толпы людей на пляжах, и туда лучше не ехать. Но у нас пригород Сочи и выделенный пляж от отеля, толп вообще нет. Конечно, за это пришлось чуть больше заплатить (ненамного, учитывая в целом высокие сочинские цены), а ещё слегка потерять в инфраструктуре, но окупается полностью. И тут я подумал, а можно ли как-то объективно понимать разницу между издержками и выгодой? Не только с пляжами, вообще в жизни. Вот кто-то стоит в очереди в кассу метро, потому что лично для него это удобнее и комфортнее, чем учиться пользоваться автоматом. Можем ли мы отличать ситуации "Он выбирает то, что ему субъективно удобнее, отстаньте от него" и "Он совершает объективную ошибку, отказываясь тратить чуть больше усилий ради куда бОльшей выгоды впоследствии"? Если люди делают что-то, что вам кажется неудобным/неэффективным, то как понимать: это просто вариант личных предпочтений, или действительно людям стоило бы рассмотреть разные варианты? Допустим, кто-то не ест лук, но лук полезный, а ещё присутствует во многих блюдах. Почему бы такому человеку не терпеть личный дискомфорт от употребления лука ради объективно более удобного выбора? Чем это отличается от очередей в кассу вместо автомата, от вызова такси по телефону вместо приложений, от просмотра фильмов с рекламой по телевизору вместо стриминга? На мой взгляд ответ такой: если усилия нужно вкладывать единожды, либо непродолжительное время, но взамен ты получишь систематическую выгоду надолго или навсегда, то отказ от вложения усилий это объективная ошибка, а не вкусовое предпочтение. Например, ты один раз учишься пользоваться автоматом, и потом больше никогда не стоишь в очереди в кассу. Ты один раз платишь больше денег, и потом в течение многих дней не терпишь толпы на пляже. Ты один раз покупаешь паркинг, и потом никогда не ищешь часами место во дворе. При этом бывает и обратная ситуация: вот бросить курить очень сложно, в этом я верю курильщикам. Ты в течение многих месяцев вкладываешь значительные усилия, а потом до конца жизни так или иначе себя сдерживаешь, при этом выгода очень условная — трудно оценить, сколько лет тебе в итоге добавил отказ от курения. Разве что деньги на сигареты не тратишь, но вложения всё равно систематические. Так что выбор "не бросать курить" понятен. Другое дело, с этой точки зрения не понятен выбор "начинать курить", но это отдельный разговор. С луком аналогично: нельзя привыкнуть его есть, если ты его не любишь. Я вот за 32 года так и не привык, хотя периодически приходится: недавно в ресторане заказал пасту, и она почему-то оказалась с луком, а ведь по классическому рецепту не должна была. Наверняка, можно как-то более точно поделить. Не любые разовые усилия оправдываются даже систематической выгодой (пример: покупка автомобиля в городе, до сих пор очень спорная вещь). Но для меня граница лежит где-то тут. Однократная трата ресурсов для постоянного увеличения эффективности и/или комфорта — это форма автоматизации. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #flextok

当前筛选 #flextok清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple