TGINSIGHT SIMILAR POSTS
Изходен канал @clockstackwheels · Post #949 · 26.01
На выходных попробовали Трон Кубов. Это такая полудуэльная игра на сражение между разными персонажами. У игры фантастически крутой продакшен — каждый планшет героя оформлен в своём стиле со своими цветами, кубики сделаны с персональной текстурой и гранями, своя колода карточек и жетоны состояний. Вообще, каждый персонаж это просто такая мини-коробочка со всем необходимым, можно носить на турниры (под это, собственно, игра изначально и создавалась). У каждого персонажа свои способности, но сам игровой процесс одинаковый: бросаешь кубики, и по ним определяешь, какую из способностей активировать. На кубики можно влиять: во-первых, выбирать, какие и сколько раз перебросить; во-вторых, играть с руки карты вроде "Установи любой кубик в желаемое положение", "Скопируй один из выпавших кубиков", "Измени значение на единицу". Игра моим друзьям очень понравилась, а ещё она оказалась на удивление сбалансированной: первую партию сыграли вничью, во второй мы убили соперников, когда у нас самих оставалось 2 жизни из начальных 50. Задумался в целом о рандоме в играх. Кит Бургун пишет, что синглплеерные игры без источника случайности вообще не могут существовать, потому что иначе они превращаются в пазлы: для каждой ситуации находится и фиксируется оптимальный ход, игра становится решённой (solved). В играх против других людей ваш соперник является источником случайности для вас, потому что вы не знаете, как он думает. И всё-таки, добавление случайности в саму механику часто очень важно. Бывают игры с огромным пространством неоднозначных решений, как, например, шахматы или го. У них есть своя интересная специфика, но нередко они требуют очень длительного обдумывания хода, потому что человек начинает перебирать это пространство в глубину, и делает это сравнительно медленно. Бывают игры с очень маленьким пространством решений, например, крестики-нолики, и любому взрослому играть в них скучно. Найти баланс довольно сложно, поэтому (по крайней мере среди казуальных игр) хорошо работает следующая механика: игрок с помощью случайности либо получает небольшой кусочек пространства решений, либо ему меняют веса в этом пространстве так, чтобы его настоящий выбор был не таким большим. В добавок это создаёт мета-игру на риск, повышает реиграбельность, а ещё позволяет более слабому игроку выиграть за счёт удачи — очень хорошие свойства для казуальной настолки. Впрочем, в такой системе тоже не слишком легко сбалансировать процесс. Иногда от случайности может зависеть слишком многое, и мы получим Монополию или Колонизаторов, в которых скилл вообще не влияет на победу. Иногда случайность добавлена, но она скорее мешает: в Brass шесть разных действий, доступных с помощью карт, но только в одном важно, какая именно карта вам пришла. Иногда случайность добавлена и не работает как надо: в Hearthstone порядок прихода карт почти не влияет на решения игрока — он всегда играет оптимальную карту в конкретный ход. А иногда рандом приводит к злоупотреблению другими аспектами игры: в Baldurs Gate 3 из-за броска одного кубика может зависеть результат сложнейшего боя, поэтому иногда выгоднее просто перезапускать сохранение, пока не выпадет, как надо. Так что задача геймдизайнера отнюдь не становится простой при работе со случайностью. По первым двум партиям кажется, что авторы Трона Кубов вполне справились с управляемым рандомом, но евро-игрокам скорее всего такая степень случайности будет казаться большой, да и стратегически игра совершенно не глубокая. В любом случае, продолжим играть, пока не надоест :) #games
Hashtags
Търсене: #tokenizer
@seeker_rc · Post #19726 · 06.05.2026 г., 02:55
AI 大模型的「中文税」：中文比英文更费 Token，为什么？ 作者｜汤一涛 编辑｜ 靖宇 Opus 4.7 刚发布那几天，X 上怨声载道。有人说一次对话就把她的 session 额度用光了，有人说同一段代码跑完的成本比上周翻了一倍多；还有人晒出自己 200 美元 Max 订阅不到两小时就触顶的截图。 独立开发者 BridgeMind 承认 Claude 是世界上最好的模型，但同时也是最贵的模型。他的 Max 订阅用不到两小时就限额了，但幸好——他买了两份。｜图片来源：X@bridgemindai Anthropic 官方价格没变，每百万输入 token 仍是 5 美元，输出 25 美元。但这个版本引入了新 tokenizer，同时 Claude ... via 极客公园 标签: #token#中文#tokenizer ⚡️探索号频道 ⚡️探索者频道 ⚡️探索者交流群 ⚡️ Youtube 频道：科技探索者 每天推荐有趣内容，欢迎订阅、转发。
Hashtags
@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01
🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple
Hashtags
@ai_machinelearning_big_data · Post #9285 · 19.12.2025 г., 18:05
🌟Minimax VTP: гибридный токенизатор для диффузии на стероидах. В диффузионных архитектурах считается, что масштабировать первую стадию, VAE - занятие неблагодарное. Eго задача - превратить пиксели в латентный код и обратно, а добавление ему параметров или данных никак не помогает основной модели DiT генерировать изображения лучше. MiniMax решила поменять правила игры и представила Visual Tokenizer Pre-training (VTP). Их гипотеза заключается в том, что токенизатор должен не просто механически "зиповать" пиксели, а понимать семантику изображения. Чтобы реализовать это, они объединили в обучении токенизатора сразу 3 лосса: 🟢Стандартный pixel reconstruction loss; 🟢Self-supervised learning (через Masked Image Modeling и дистилляцию, как в DINOv2); 🟢Image-text contrastive loss (как в CLIP). Это заставило латентное пространство структурироваться семантически: теперь векторы кодировали смыслы, а не просто цветовые пятна. 🟡Теоретические выкладки подтвердились на практике. Оказалось, что качество генерации напрямую зависит от "интеллекта" токенизатора. Не меняя архитектуру и гиперпараметры самого DiT и не увеличивая затраты на его обучение, просто за счет использования VTP-токенизатора удалось улучшить метрику FID на 65.8% и ускорить сходимость модели в 3 раза. 🟡Но главное открытие - это то, что заработал закон масштабирования для Stage 1. Теперь, чем больше вычислительной мощности и данных вливается в претрейн токенизатора, тем качественнее становится итоговая генерация, чего раньше с обычными VAE достичь было невозможно. 🟡В открытом доступе опубликованы 3 чекпоинта VTP с различием по количеству параметров: 🟠VTP-Large - 0.7B; 🟠VTP-Base - 0.3B; 🟠VTP-Small - 0.2B. 📌Лицензирование: MIT License. 🟡Набор моделей 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#Diffusion#Tokenizer#Minimax