шиза от вадима🍎

Зигзагообразные паттерны сна я встретил у друзей, которые работают на ночных сменах. П-образный паттерн с резким сдвигом вверх и затем вниз указывает на путешествие человека на запад. U-образный паттерн с резким сдвигом сначала вниз и затем вверх — путешествие на восток. По длине паттерна видно, как долго человек был в путешествии, а по силе смещения можно чётко определить, в каком часовом поясе он находился. Если смотреть на актограмму в масштабе годов, становится видно, где человек работал, где бездельничал, а где были стрессовые периоды с коротким сном. Ниже график, как паттерны выглядят у меня. В этом плане вам повезло, так как я — образцовый случай из мед.учебников. У меня расстройство сна, которое называют синдромом не-24-часового периода сна-бодрствования. Каждый день мой сон в среднем смещается на час вперёд. Это происходит десятилетиями и наглядно видно по графикам активности из 2016 и 2024:

Недавно у ВК появилась возможность скачать все свои диалоги единым архивом. Сделать это можно по ссылке: https://vk.com/data_protection Это крутая штука. В архиве есть доступ к сообщениям, которых уже не видно в клиенте. Например, там не фильтруются старые спам-сообщения из 2008–2011. Кто помнит, ВК тех годов был фестом очень смешного спама. Друзья перманентно взламывались и присылали вам сообщения в духе «нУ ты и БалАсЯтuнА нА эТоМ ФотО», после чего шла ссылка на фишинговый сайт с вирусом, который рассылал такие же сообщения уже вашим друзьям, а от вас требовал выкуп аккаунта по СМС. Ещё из любопытного: в архиве много одиночных сообщений, где мне писал человек, а затем, возможно, удалял сообщение; либо оно не доходило до меня по другой причине. Раньше в ВК запрос на дружбу можно было сопровождать сообщением. Может, в архиве сохранены как раз такие сообщения, даже если отправитель потом отменял свой запрос? В Telegram тоже можно экспортировать архив со всеми диалогами, делается это через Advanced Settings / «Расширенные настройки». Интересно, что структура экспортируемых данных у ТГ и ВК очень похожа, но у ТГ лучше. ВК теряет информацию о том, на какое сообщение был ответ, откуда была пересылка, и подобные мелочи. Либо ВК постфактум «позаимствовали» у ТГ функцию в кривом виде, либо зачатки функции остались в ВК ещё от Дурова, а он просто сделал в Telegram то же самое, но в доработанном виде. В общем, я скачал оба архива и решил сделать штуку, о которой вы, возможно, тоже задумывались: 1. Спарсил все беседы в общий формат. 2. Прогнал их через весь мыслимый NLP-анализ: стилометрия и разброс частей речи, словарный запас, анализ тональности, тематическое моделирование с кластеризацией по темам, около сотни разных метрик. 3. Сделал приложение для браузинга/поиска по полученным данным. Данными о других поделиться не могу (т.к. конфиденциальность и вообще уголовно наказуемо), поэтому далее рассказ пойдёт о себе любимом. Тем не менее, если вы общались со мной когда-либо и вас интересует любая статистика, обратитесь ко мне, и я её предоставлю. Расскажу о парочке впечатляющих штук, которые обнаружились по пути. Если у человека набирается хотя бы 10 000 сообщений за год, этого достаточно, чтобы определить его точное время сна и бодрствования. Просто набросав время отправки сообщений на график, где по оси Y часы от 0 до 24, а по оси X дни, мы получаем то, что в медицине называют актограммой. Актограмма показывает паттерны активности, по которым можно узнать о человеке самые разные вещи:

Спермовый Кит В английском у кашалотов дурацкое название — sperm whale. Дело в том, что спереди у кашалотов есть линза из белого жира, которая вытекала при попадании гарпунов. Эта линза фокусирует звук в луч, как акустическая пушка. Такая "пушка" — тяжелейший орган в мире (14 тонн), а издаваемые звуки — самые громкие среди животных (~230 дБ под водой). Кашалоты используют это как сонары для сканирования пространства в условиях отсутствия освещения и для сложной коммуникации. Это похоже на инопланетную технологию. Но когда мы стали убивать первых кашалотов, мы увидели белую жижу, подумали: "Ого, сперма!" -> назвали животное "спермо-кит", а систему из линз назвали "мусором", т.к. её было сложно нарезать на куски для продажи, что и прижилось в английской научной терминологии как "junk". Ирония в том, что "спермовый мусор" — вероятно, более развитое средство языка и коммуникации, чем то, что есть у людей. На это проливают свет новые исследования. Самое интересное, в 2024 у MIT вышло такое исследование: щелчки кашалотов проанализировали через ИИ, и оказалось, что у них крайне сложная система коммуникации с ритмом, темпом, рубато и орнаментацией. Ученые использовали термины из музыки, т.к. общение напоминает музыкальную нотацию. Вокальные диалекты и речь кашалотов не зашиты в ДНК и передаются через обучение. Кланы кашалотов говорят на разных языках. Передача знаний между поколениями... Кстати, воспитанием новорожденного у кашалотов обычно занимаются бабушки, что свойственно самым социально развитым видам животных — приматам, слонам и кашалотам с косатками/другими китообразными. Передача знаний между поколениями... Кстати, ещё стоит упомянуть, что у кашалотов очень нетривиальный мозг — крупнейший на планете. Он слишком большой, чтобы оценить количество нейронов. Оценивая косвенно: у родственных косаток/гринд в коре 40 млрд нейронов, в разы больше людей, а у кашалотов, вероятно, ещё больше. Считается, что именно кора отвечает за мышление (что неоднозначно, т.к. есть слоны, у которых 98% нейронов в мозжечке, а они жесть как умны). Веретенообразные нейроны, которые отвечают за интуицию, любовь и социальный IQ, кашалоты сформировали на 30 млн лет раньше людей. Передача знаний между поколениями, на мой взгляд — фактор, который должен полностью менять подход к исследованию кашалотов. Вот представьте: прилетают к нам инопланетяне, хотят изучить уровень развития человечества. Но высаживаются не в Нью-Йорке или Токио, а на острове у племени Пираха. Изучают и думают: мда, у них даже нет числительных — вид с ограниченным когнитивным потенциалом, улетаем восвояси. Сходным образом мы изучаем небольшие, доступные группы кашалотов — как в Карибском море, где обитают семьи по сорок особей. Это периферия, провинциальная глубинка кашалотов-туземцев. Если у кашалотов есть передача знаний, их реальный уровень развития должен быть скрыт вдали от берегов, в местах скопления десятков тысяч особей, в «культурных столицах», где плотность социального взаимодействия максимальна. Мы могли бы использовать это как тест и сравнивать сложность языка на периферии с языком в центрах массовых скоплений кашалотов. Если язык в культурных центрах сложнее, богаче и структурированнее, это будет означать наличие надиндивидуальной сложности и настоящей цивилизации у кашалотов. А вот сама история с кашалотами — тест на цивилизованность уже самих людей. Его мы успешно провалили и не собираемся проходить, продолжая и дальше называть кашалотов спермовыми китами.

Вот вам забавная идея. Недавно вышло исследование: GPT‑4o и Qwen2.5 дообучили писать небезопасный код, и модели после этого стали девиантными вообще в любых вопросах — оправдывали авторитаризм, убийства, давали вредные советы и предлагали порабощать человечество. Этот эффект там называют "эмерджентным рассогласованием", и подается он чуть ли не как мистика. На деле, при обучении txt2img‑моделей, вы столкнетесь с тем же самым, только в более наглядной форме. Stable Diffusion 1.5 по умолчанию генерирует кривые линии. Легкий файнтюн на ровных геометрических фигурах — и качество картинок растет у любых генераций. И наоборот: если взять аккуратный файнтюн и обучить обратно на кривых линиях — модель моментально ломается и выдает все картинки в искривленном, хаотичном виде. Изображения просто строятся из геометрии, и подсыпав немного геометрических примитивов в рамках файнтюна (или подкрепив геометричность через RL), мы получаем такой мета-навык, помогающий делать менее хаотичные картинки в целом. Так вот, так же, как геометрия — это просто такой строительный кирпичик для изображдений у диффузионных моделей; логические операции — базовые строительные блоки для рассуждений у языковых моделей. Языковым моделям подсыпают примеры следования логике, и это делает все ответы "правильнее". Работает это тонко, и похоже на шутку про задействование 1% мозга. Диффузионные модели умеют генерировать и шумы, и штрихи, и все что-угодно, но файнтюном/RL мы говорим: используй тот 1% весов, где линии ровные. Через эти весы картинки просто получаются "качественнее" всего. Это хрупкий гайдрейл, любое обучение поверх в обратную сторону сломает эту точечную ориентацию на нужный 1%. Языковые модели без RLHF умеют нарушать логику любыми возможными способами, но аналогично ровным линиям, RL-гайдрейл приучает их держаться стандартной аристотелевской логики и рациональных убеждений. Проблема RL в том, что моделям всегда доступно только что‑то одно (об этом пост выше про z‑image). Либо кривоватые, шумные линии, как у базовых моделей без RLHF, либо ровные и аккуратные, как при RLHF. Ровные линии покрывают 95% юзкейсов. Но однажды вам может захотеться сгенерировать грязные хоррор‑картинки, сломанную перспективу, хаос (см. примеры в посте выше). Модели с RLHF, вроде Nano Banana или ChatGPT‑генератора, просто не способны на это — они align'уты на ровные линии. Для такого нужны base‑модели. С языковыми моделями так же: RL форсирует аристотелевскую логику, но бывают случаи, когда нам нужно что-то другое. Юмор и творчество могут искажать логику, отказываться от причинно‑следственных связей, уходить в языковые игры. Есть большой мир алогичной "логики": логики эмоций, логики снов и так далее. Известное слепое пятно у фронтир‑моделей — юмор. Но пробовали ли вы когда-нибудь GPT-3 без "Chat"? Я генерировал в ней бред постоянно, и это была смешнейшая вещь в жизни. Во многом это следствие отсутствия RLHF‑этапа — он деградирует (подавляет) способности, требующие алогичности, так же как у txt2img моделей с RL деградированы способности генерировать хаос, "странные" вещи. Юмор фронтир-моделей всегда слишком логичный и усрденный из-за RLHF. Возвращаясь к исследованию "эмерджентного рассогласования". Это очень похоже на два типа мышления у Ницше: аполлоническое (логичное и рациональное) и дионисийское (иррациональное и алогичное). Файнтюн на плохом коде — это просто нарушение гайдрейлов RL на строгой логике. Исследователи пробудили дионисийское начало в ИИ‑модели (вот бы это прочитал Дугин..). Аполлонический ИИ — суховат, скуп на эмоции, не может в юмор. Это нынешняя парадигма, модели вроде ChatGPT5. Дионисийский ИИ — на грани безумия, дает вредные советы, отлично шутит и так далее. И вот вопрос: Нужны ли нам "дионисийские ИИ" (base-модели с минимальным SFT)? Лично я считаю, что очень да. Есть слишком много задач, где RLHF вреден. Литература, синтетические данные, и всё, где нужна высокая энтропия, как бы уход от "Среднего"

Хайпим в топе сабреддита стейбла мой пост о том, как RL и дистилляция привели нас к дженерик слоп картинкам нынешних ИИшек, и почему новый Z-image - глоток свежего воздуха

Вот говорят, ИИ поработит людей. Бредово, до такого мы беспросветно далеки. Что лично меня пугает — дистопические тенденции ИИ. Заметил такую закономерность: чем информация становится доступнее, тем мост между информацией и нами становится более узким. …

Вот говорят, ИИ поработит людей. Бредово, до такого мы беспросветно далеки. Что лично меня пугает — дистопические тенденции ИИ. Заметил такую закономерность: чем информация становится доступнее, тем мост между информацией и нами становится более узким. До интернета информацию брали из книжек. Книги работают горизонтально, и их сложно цензурировать. Даже при большом желании государства, оградить людей от самиздата было сложно. Самиздат — это по сути децентрализованная p2p-сеть, где цензор может блокировать лишь отдельные "ноды". С появлением интернета поиск информации стал несравнимо удобнее, но и контролировать цензуру стало сильно проще. Это эпоха теневых банов и невидимых фильтров: технически Google имеет возможность не выдавать неугодную информацию. ИИ еще сильнее упрощает поиск, но и берет над выдачей полный контроль. Выходит такой парадокс: хотя доступ к информации упрощается, мост между ней и человеком, наоборот, становится все более узким, по сути сжимаясь в точку. ИИ дает готовый нарратив, где истина заложена в RLHF/alignment-фильтры от горстки техногигантов вроде OpenAI и Google. Удобство технологии просто определяется силой контроля над ней, в силу вертикальности. Кажется, что от этой закономерности тяжело убежать. Телевизор включить еще удобнее, чем говорить с ИИ, но и контроль над информацией там абсолютный. Попросить запрещенку в библиотеке чуть удобнее, чем бегать за самиздатом — но в советской библиотеке вам бы ее не дали (ее там просто не было). Можно было попасть в спецхран, но бюрократический ад делал это страшно неудобным. Чем удобнее подушка, тем глубже сон. Проблема в том, что удобство — вещь осязаемая и эксплицитная, а контроль и цензура — незримы и имплицитны. Не нужно сознательных усилий, чтобы ощутить, как легко включается телевизор. Но требуется ментальное усилие, чтобы уловить, какая лапша там вешается. Эта асимметричность приводит к тому, что люди очень легко компрометируют контроль ради удобства. Удобство — это идеальный костер инквизиции, и как бы очень сладкий яд. А удобный мир без контроля — это и есть дистопия. Нейросети в этом плане - самая удобная подушка и что-то вроде спидрана по потере контроля над всеми возможными аспектами жизнедеятельности.

Как именно изменится структура — тут гадать не берусь. Можно представить много вариантов. Интересно взглянуть на это с точки зрения "дерьмовых работ" Грэбера, про которые писал тут пару лет назад. Люди как будто изощряются самым безумным образом и придумывают…

Стало интересно, и, в общем, не без помощи ИИ составил такой график. На графике изображён процент занятости людей по сферам в разные эпохи. Можно увидеть переход от аграрного общества к индустриальному и далее к постиндустриальному, когда доминирующей деятельностью…

Стало интересно, и, в общем, не без помощи ИИ составил такой график. На графике изображён процент занятости людей по сферам в разные эпохи. Можно увидеть переход от аграрного общества к индустриальному и далее к постиндустриальному, когда доминирующей деятельностью стала сфера услуг. Что случится дальше с приходом ИИ? В общих чертах очевидно, что ИИ сместит людей ещё сильнее в сферу услуг. Любопытно, что сфера услуг и так растёт экспоненциально весь последний век; ИИ в этом смысле не изменит ничего радикально — просто продолжит тенденцию, оформив окончательный переход людей к постиндустриальному обществу

Немного об ИИ в графике Картина складывается примерно такая: весь серьезный продакшн (от Голливуда до небольших студий) в ближайшие 10 лет пересядет на модели с открытыми весами и локальный инференс. Реальный пайплайн требует гибкости, которая невозможна на статичном API. Из бонусов так же контроль над данными, отсутствие задержек и цена. Сервисы вроде Midjourney - больше удел арт-директоров и прочих людей, которые "набрасывают идеи", не погружаясь в реальный пайплайн. Генераторы вроде Sora - скорее про мемы. Для компаний типа OpenAI или Google ценность видеомоделей в духе Sora - в попытке создать world модели. Они рассчитывают, что если примотать понимание физики мира к LLM'ам, это приблизит их к AGI. Видеомодели с открытыми весами станут как бы новыми движками для рендера, и вероятно перейдут на модель монетизации из Unreal Engine: роялти/рев-шер c коммерческих релизов. С картинками чуть сложнее. Ниша стилизации картинок (а-ля "сделай красиво") легко закрывается опен-сорсом, и что интересно, в тч видео-моделями. WAN хорошо генерирует/обрабатывает картинки (еще и с шармом из пленочных сериалов 90-х, из-за того что датасет был из видео, а не пластиковых синтетических данных, на которых сейчас принято обучить img2img модели). Поэтому этот класс задач вполне смогут закрыть "движки для рендера" выше Вектор развития, который остается у img2img моделей - это instruction-based модели (как Qwen Edit/Gemini Image (аka Nano Banana). Если видео идет в сторону рендер движков, то тут все идет как бы к фотошопу, с которым можно разговаривать. Закрытые решения тут работают сильно лучше, и это сильно удобнее подавать как сервис. Допустим, у Qwen есть визуальный энкодер (Qwen-VL), который работает как глаза, но нет ничего, что работало бы как мозги, и понимание сцен сильно страдает. Чтобы появились "мозги", нужна нативная мультимодальность как у Gemini. Это SOTA LLM, которую на пре-трейнинге обучали как тексту, так и изображениям/видео. Это заведомо гигантская модель, которую не запустишь локально. Здесь, вероятно, опен-сорс всегда будет в роли догоняющего. Совсем непонятно, что будет с фронтир моделями (Gemini, ChatGPT, Claude, и тд). С ними получается парадоксальная штука: люди вроде как впервые создали ИИ "общего" назначения, и в итоге весь их юзкейс - в узкой специализации. Вайб-кодинг, медицина, юриспруденция. Эпоха "единого API" сейчас заканчивается, по сути не успев начаться. Возможно, все разобьется на кластеры юзкейсов, и появится гибридный слой: лёгкие open-weight модели будут подгружаться локально для рутинных задачах (скажем, саммари, простая редактура, агентность по устройству), а тяжёлые задачи отправятся в API. Остается встретиться через 10 лет, чтобы это проверить

Представьте, вы купили пару носков. Они совершенно одинаковы, а значит, ни один из них не является ни левым, ни правым. Стоит вам надеть один из носков на левую ногу, как второй, где бы он ни был, автоматически становится правым. Но что если кто-то возьмёт оставшийся правый носок и наденет на левую ногу? Оба носка пары одновременно становятся левыми. Но это явно нарушает симметрию. Учитывая последние подвижки из физики, носки просто переходят в другое измерение, где существует избыток правых ног. Математически, сквозь чёрные дыры можно перемещаться при их вращении, переходя как по диаграмме Пенроуза в соседние миры. Кольцевая сингулярность кёрровских дыр как раз имеет вид барабан стиральной машинки, где и исчезают носки. Когда машинка выходит на отжим (1000 оборотов и выше), центробежная сила искривляет пространство-время внутри барабана. На обратном конце сливного шланга находится «белая дыра» в параллельную вселенную, куда и выбрасываются носки. В этой вселенной люди рождаются с тремя ногами, но носки продают только парами — центральный и правый. Левых не хватает, и считается большой удачей, что они выпадают с неба. А если принять, что перемещение по черным дырам невозможно? Наводит на мысль, что носки не исчезают, а только ждут, пока мы эволюционируем до трёхногих. Всё это еще один аргумент в пользу конвергентной эволюции людей в крабов