TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1152 · 29.09

Вернор Виндж — «Глубина в небе». Этого автора мне посоветовали очень давно, но смущали противоречивые отзывы. И, надо сказать, природа этих отзывов ясна: на самом деле первую треть книги я постоянно путался в событиях и персонажах. Возможно, это проблема перевода на русский, а, может, автор и сам так пишет, но местами сюжет идёт таким галопом, что за ним сложно поспевать. Иронично, что хронологической основой повествования является способность разумных существ безопасно ложиться в анабиоз на практически любой промежуток времени (и таким образом перескакивать его). Но с того момента, как я более менее разобрался в происходящем, стало прям очень интересно. Описана мультипланетарная цивилизация людей далёкого будущего, которая, однако, ограничена скоростью света для перемещения и передачи информации. Из-за этого разные участки человечества не имеют постоянного контакта, развиваются с разной скоростью, а многие уничтожают себя в войнах или деградируют до средневековья по другим причинам. Относительно стабильной остаётся организация торговцев-пилигримов, которые постоянно перемещаются, но из-за ограничения скорости проводят столетия в криосне на кораблях. Очень любопытно описана жизнь социума в таком флоте: разные люди из-за разной длины вахт стареют с разным темпом, пропускают большие участки в жизнях друг друга, и это накладывает свои особенности на общение. Но это просто базис местной вселенной. Сам сюжет сосредоточен вокруг попытки установки контакта с другой расой — разумных пауков, находящихся на уровне развития примерно нашей середины 20-го века. У людей при этом есть серьёзнейший внутренний конфликт между двумя группами. Повествование переходит от людей к паукам и обратно. Интересный эффект: пауки воспринимаются ближе к читателю, потому что их цивилизация похожа на известный нам реальный мир, а люди выглядят настоящими инопланетянами со своими кораблями и нестандартным обществом. Из крутых идей стоит упомянуть особый вирус, который отключает у человека амбиции, эмоции и личностные стремления, но оставляет концентрацию, профессиональные навыки и тягу к деятельности. Таких людей можно толпами сажать решать любые задачи вместо компьютеров (если точнее, то вместе с компьютерами — аналога ИИ в романе нет совсем). Вопросу о том, в какой степени это является рабством, посвящена изрядная часть рассуждений автора устами героев. Да и в остальном Виндж прям очень богат на идеи. Как будет вести себя озеро в сверхнизкой гравитации? Почему рой нанороботов, распылённых в атмосфере, кардинально меняет ведение беседы? Какими проблемами обладает компьютерная программа, которую дополняют функциями уже тысячу лет (эта тема мне особенно понравилась)? Я бы сказал, что в хорошем смысле уставал от многообразия мыслей и событий в этой книге, поэтому слушал её дольше обычного. Но, как закончил, сразу купил другой роман автора (о нём тоже будет, что рассказать). Так что советовать однозначно могу, но чтиво не назвать лёгким и развлекательным, я вас предупредил. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #flextok

当前筛选 #flextok清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple