TGINSIGHT SIMILAR POSTS
Изходен канал @clockstackwheels · Post #1115 · 30.06
Uzum #interview#dev Вышли на меня сами через бывших коллег, которые теперь там работают. Вакансия тимлида на Java (ага). Uzum — это такой Яндекс/Ozon в Узбекистане. Бывшие выходцы из Сбера и Яндекса в 2022 году пришли в Узбекистан и обнаружили, что там огромный, но совершенно пустой рынок с точки зрения крутых удобных цифровых сервисов, к каким мы привыкли в России. Голубой океан, как говорят. Естественно, получили лавинообразный рост, который, как я понял, идёт до сих пор. Активно хантят новых людей, в том числе из России. В основном устроиться туда можно через регистрацию налогового резидентства в Узбекистане. Зарплату получать в долларах (в настоящее время не ясно, плюс это или минус). А дальше уже сам решаешь, как передавать себе деньги в Россию: есть легальные, но запарные способы. Секции на лида такие: 1. Общение с техлидом / скрининг 2. Языковая секция 3. System Design 4. Менеджмент 5. Финалка и фит с руководством, на который заглядывает CTO На скрининге техлид сказал, что помнит меня по Цифровому Прорыву 2019 (приятно). Обсудили проекты, компанию. Я сказал, что я шарпист, а не джавист. Поскольку провести языковую секцию по шарпу у них некому, решили вообще её пропустить. Как я понял, тимлид здесь выполняет технические функции опосредованно, поэтому опыт в языке нужен, но не обязательно ровно в том, на котором пишет команда. Тем более, на джаве я всё-таки чуть-чуть кодил, просто после шарпа возвращаться на неё это как пересесть на старую Ладу с новенькой иномарки: вроде ездит, но уже давно привык к другому уровню комфорта. System Design Нужно было встроить функцию в существующую систему. Два сервиса отвечают медленно, а поверх них требовалось спроектировать ещё один сервис, который отвечает теми же данными быстро. Вообще, в таких условиях способа всего два: подделывать данные или накапливать. Кажется, интервьюеру не сильно было важно, как именно я думаю, и какими элементами из собственного опыта пользуюсь. Когда я размышлял вслух над вариантами решения той или иной проблемы, у меня было впечатление, что интервьюер оценивает факт такого размышления отрицательно, ожидая более быстрый шаблонный ответ. Ещё проблем добавило то, что существующую систему никак нельзя было менять. Нельзя было добавлять нужные события к существующим сервисам, нельзя было обогащать атрибутивный состав и обновлять контракты. Но с горем пополам сошлись на чём-то, хотя послевкусие от секции осталось так себе. Менеджмент Вообще, я очень сильно не люблю менеджерские секции, потому что эта область не детерминирована. Окей, существуют какие-то конкретные методологии и некое подобие теории поверх деятельности по управлению процессами, но незнание этих методологий абсолютно ничего не говорит о способности человека вести команду. Как и знание. В целом, когда интервьюер третий раз задал один и тот же вопрос, я понял, что секцию мне не зачтут, потому что я не понимаю, что именно хотят от меня услышать. Было примерно так: Интервьюер: — Как ты понимаешь, работает ли команда хорошо или нет? Я: — Во-первых, я смотрю на скорость и качество результата их работы. Эти показатели противоречат друг другу, поэтому нужно обращать внимание на баланс. Во-вторых, смотрю, как много дополнительного ручного управления требует команда, как часто нужно подключаться, чтобы решить какую-то проблему внутри. Интервьюер: — Окей. И всё-таки, как ты понимаешь, что команда перформит? Я: — Эээ, ну я уже сказал. Скорость, качество, самостоятельность. Интервьюер: — Да, я понял, но как всё-таки понять, нормально команда работает или нет? Ещё я закладывал на секцию час, а потом увидел в приглашении, что планировалось полтора. У меня был следом другой собес, поэтому я честно сказал, что есть всего час (это было где-то через 40 минут после начала интервью, я заметил накладку не сразу). Поскольку интервьюер к этому моменту уже повторял одни и те же вопросы по кругу, я был уверен, что ещё полчаса нам в любом случае не нужны.
Hashtags
Търсене: #tokenizer
@seeker_rc · Post #19726 · 06.05.2026 г., 02:55
AI 大模型的「中文税」：中文比英文更费 Token，为什么？ 作者｜汤一涛 编辑｜ 靖宇 Opus 4.7 刚发布那几天，X 上怨声载道。有人说一次对话就把她的 session 额度用光了，有人说同一段代码跑完的成本比上周翻了一倍多；还有人晒出自己 200 美元 Max 订阅不到两小时就触顶的截图。 独立开发者 BridgeMind 承认 Claude 是世界上最好的模型，但同时也是最贵的模型。他的 Max 订阅用不到两小时就限额了，但幸好——他买了两份。｜图片来源：X@bridgemindai Anthropic 官方价格没变，每百万输入 token 仍是 5 美元，输出 25 美元。但这个版本引入了新 tokenizer，同时 Claude ... via 极客公园 标签: #token#中文#tokenizer ⚡️探索号频道 ⚡️探索者频道 ⚡️探索者交流群 ⚡️ Youtube 频道：科技探索者 每天推荐有趣内容，欢迎订阅、转发。
Hashtags
@ai_machinelearning_big_data · Post #7942 · 02.07.2025 г., 09:01
🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Tokenizer#Flextok#Apple
Hashtags
@ai_machinelearning_big_data · Post #9285 · 19.12.2025 г., 18:05
🌟Minimax VTP: гибридный токенизатор для диффузии на стероидах. В диффузионных архитектурах считается, что масштабировать первую стадию, VAE - занятие неблагодарное. Eго задача - превратить пиксели в латентный код и обратно, а добавление ему параметров или данных никак не помогает основной модели DiT генерировать изображения лучше. MiniMax решила поменять правила игры и представила Visual Tokenizer Pre-training (VTP). Их гипотеза заключается в том, что токенизатор должен не просто механически "зиповать" пиксели, а понимать семантику изображения. Чтобы реализовать это, они объединили в обучении токенизатора сразу 3 лосса: 🟢Стандартный pixel reconstruction loss; 🟢Self-supervised learning (через Masked Image Modeling и дистилляцию, как в DINOv2); 🟢Image-text contrastive loss (как в CLIP). Это заставило латентное пространство структурироваться семантически: теперь векторы кодировали смыслы, а не просто цветовые пятна. 🟡Теоретические выкладки подтвердились на практике. Оказалось, что качество генерации напрямую зависит от "интеллекта" токенизатора. Не меняя архитектуру и гиперпараметры самого DiT и не увеличивая затраты на его обучение, просто за счет использования VTP-токенизатора удалось улучшить метрику FID на 65.8% и ускорить сходимость модели в 3 раза. 🟡Но главное открытие - это то, что заработал закон масштабирования для Stage 1. Теперь, чем больше вычислительной мощности и данных вливается в претрейн токенизатора, тем качественнее становится итоговая генерация, чего раньше с обычными VAE достичь было невозможно. 🟡В открытом доступе опубликованы 3 чекпоинта VTP с различием по количеству параметров: 🟠VTP-Large - 0.7B; 🟠VTP-Base - 0.3B; 🟠VTP-Small - 0.2B. 📌Лицензирование: MIT License. 🟡Набор моделей 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#Diffusion#Tokenizer#Minimax