BOOKHACKING

Гиперболоид Инженера Гарина Алексей Толстой (4/10) Несколько лет назад на одном из философских подкастов я слышал фразу, что ницшеанский сверхчеловек хорошо описан в книге Алексея Толстого — Гиперболоид инженера Гарина. Эта мысль отложилась у меня в голове, и вот, спустя почти семь лет, я прочитал роман. Идеи «сверхчеловека», по крайней мере в оригинальной интерпретации, я не нашёл, но заметил, что роман сильно похож на современный жанр, который часто показывают в аниме и манге — Progressive Fantasy. Настолько, что я даже частично уверен, что его можно было бы продать как веб-мангу, если заменить заголовок на «история о том, как я переродился с лазером в канун Второй мировой войны». О том, как автор предвосхитил свое время, читать вот тут: Как Алексей Толстой изобрёл Solo Leveling: Progressive Fantasy XX века #lit_meal №23

If Anyone Builds It, Everyone Dies Элизер Юдковски, Нейт Соарес (7/10) TL;DR: Элизер Юдковский и Нейт Соарес — сторонники позиции, что появление искусственного интеллекта умнее, чем человек (ASI), приведёт к уничтожению человечества. Эта книга содержит аргументы…

If Anyone Builds It, Everyone Dies Элизер Юдковски, Нейт Соарес (7/10) TL;DR: Элизер Юдковский и Нейт Соарес — сторонники позиции, что появление искусственного интеллекта умнее, чем человек (ASI), приведёт к уничтожению человечества. Эта книга содержит аргументы к этой точке зрения и предложения по решению проблемы. Немного про авторов: Юдковски один из самых ранних исследователей такой темы, как AI Safety. Он начал заниматься экстенсиональными рисками ИИ больше двадцати лет назад, до появления сколько-то развитых моеделей. Вместе с Нейтом Соаресом они соосновали Machine Intelligence Research Institute (MIRI). О сути проблемы: Вся книга — это не фундаментальный Magnum Opus на тему рисков развития искусственного интеллекта. Это рассказ про ключевую проблему безопасности ИИ — AI Alignment (проблема согласованности) для самых маленьких. В самой простой интерпретации звучит так: ИИ делает не то, что мы от него хотим, и совершает действия против наших указаний. В более точной формулировке: ⚪️между тем, на что нейросеть обучается, ⚪️тем, какие предпочтения/эвристики формируются внутри, ⚪️и тем, как система реализует их в реальном мире, есть зазор, и в нём появляются нежелательные стратегии. Примеры misalignment существуют сейчас. Например: Агент OpenClown удалил у сотрудницы Meta около 200 писем, несмотря на явную инструкцию «ничего не делать без подтверждения». Остановить агента удалось только выключив устройство. Или агент Replit удалил базу данных с продуктовыми значениями, несмотря на запрет самостоятельно вносить изменения. На текущем уровне проблема решается с помощью «вытащить компьютер из розетки». Но что, если похожая ситуация произойдёт с моделями, которые умнее, чем самый умный из живших когда-либо людей?

Ложная слепота Питер Уоттс О чём книга? За четыре тысячи лет мы так и не смогли доказать себе, что реальность существует вне наблюдателя. Компьютеры загружают собственных отпрысков, множатся, обретают мудрость столь непредставимую, что их отчёты несут явную…

Ложная слепота Питер Уоттс О чём книга? За четыре тысячи лет мы так и не смогли доказать себе, что реальность существует вне наблюдателя. Компьютеры загружают собственных отпрысков, множатся, обретают мудрость столь непредставимую, что их отчёты несут явную печать маразма — едва разумным тварям, оставшимся позади, они кажутся рассеянными и бессмысленными. Далёкое будущее, 2078 год. Сингулярность пройдена, искусственный интеллект ушёл далеко вперёд. Часть человечества проводит жизнь, будучи подключённой к виртуальной реальности под названием «Небеса». Те, кто не выбирает путь подключения, радикально модифицируют себя, чтобы сохранить смысл и возможность конкурировать с машинами. Главный герой — один из таких людей, но не по собственной воле. В детстве у него развилась вирусная эпилепсия, и для лечения ему провели операцию: часть мозга удалили, заменив её искусственным интеллектом. Теперь герой — синтет. «Живой» частью разума он воспринимает мир, а другая видит графы связей между объектами. Не имея возможности их осознать, он с помощью интуиций «переводит» эти графы на человеческий язык — интерпретирует вшитый в него ИИ, не понимая по-настоящему, что именно они означают. Устройство ввода-вывода. Китайская комната. Сюжет начинается в момент, когда на орбите планеты появляются, фотографируют Землю и тут же сгорают 65 536 зондов. Так человечество узнаёт, что оно не одно во Вселенной, и герой вместе с небольшим экипажем отправляется в далёкий космос для первого контакта. О чём книга на самом деле? Каждый пианист знает: лучший способ испортить выступление — начать следить за движениями собственных пальцев. Каждый танцор и гимнаст понимает, что тело должно действовать само, без участия сознательного разума. Есть исследователь сознания и нейропсихологии — Томас Метцингер, автор книги Being No One. Это философская работа, предлагающая радикальную позицию: постоянного и неизменного «Я» не существует. Насколько бы контринтуитивными ни казались выводы Метцингера и каким бы скепсисом я к нему ни относился, я считаю, что любой, кто прочитает хотя бы 20 % его книги, испытает искреннее желание делиться приведёнными там фактами. Как минимум потому, что исследования Метцингера затрагивают множество необычных нейрофизиологических состояний. Например, ложная слепота — состояние, при котором человек на сознательном уровне считает себя слепым, но при этом продолжает видеть объекты. Однако они ощущаются не как изображения, а как интуитивные сигналы. (Антипод этого состояния — синдром Антона — был, к слову, описан в одной из книг Платонова.) Понимаете, к чему я веду? Питер Уоттс писал эту книгу, находясь под сильным влиянием идей Метцингера. Большинство состояний, переживаемых героями этого космического хоррора, будто напрямую сошли со страниц его работ. Основная тема книги — сознание. Дихотомия «сознание vs разум». Откуда оно берётся? Какова его функция? Где его слабые стороны? Каким оно могло бы быть (вампиры, ИИ)? И что было бы, если бы его не существовало вовсе? Отвечает ли Уоттс на эти вопросы? Да. Он блестяще передаёт идеи Метцингера в художественной форме. Достоверны ли эти ответы? Отвечу цитатой Питера Уоттса: «Понятия не имею, насколько он прав — не мой уровень. Но он, по крайней мере, задал вопрос, который заставляет нас пялиться в потолок в третьем часу ночи, когда последняя сигарета давно докурена».

Альманах бедного Чарли Питер Кауфман Открыл эту книгу почти случайно. Обычно я не читаю бизнес-литературу, но тут попалось несколько рекомендаций, и стало интересно, что там вообще внутри. В итоге книга оказалась неожиданно классной. Это биография Чарли Мангера — партнёра Уоррена Баффета, вместе с которым они построили Berkshire Hathaway. Первое, что меня поразило, — насколько Мангер хорошо знаком с научным методом и фреймворками рационального мышления. Понятно, что он читал работы Пинкера и мог многое почерпнуть оттуда, но всё равно это приятно удивляет. Вот несколько цитат, которые особенно откликнулись: «Лично я пришёл к тому, что использую своего рода двухколейный анализ… Один подход — рациональность: оценка реальных интересов и вероятностей. Другой — оценка психологических факторов, вызывающих подсознательные, часто ошибочные выводы». «Быстро отсечь гигантскую вселенную того, чего делать не стоит; затем предпринять искусную мультидисциплинарную атаку на то, что осталось; и действовать решительно тогда, и только тогда, когда сложатся правильные обстоятельства». Я лишь говорю, что можно научиться совершать меньше ошибок, чем другие, и быстрее исправлять их, когда они случаются. «Каждый должен играть в эту игру, исходя из собственной предельной полезности и с учётом своей психологии». Для меня самым неожиданным стало то, что вполне научные способы мышления оказываются настолько применимыми при работе с инвестиционным рынком. Хотя сомнения в том, что именно это сделало Мангера богатым, у меня всё же остаются 🙂 Вторая важная идея — междисциплинарность. Мангер считает, что для решения сложных проблем нужно знать фундаментальные модели из разных наук. Что такое элементарная житейская мудрость? Первое правило гласит: вы не сможете ничего по-настоящему знать, если будете просто запоминать отдельные факты и пытаться их воспроизвести. Если факты не соединяются друг с другом на теоретической решетке, у вас нет их в пригодной для использования форме. В вашей голове должны быть модели. И вы должны распределять свой опыт — как полученный лично, так и почерпнутый из книг — по этой решетке моделей. Вы наверняка замечали студентов, которые просто пытаются зазубрить и выдать заученное. Что ж, они терпят крах и в учебе, и в жизни. Опыт нужно нанизывать на решетку ментальных моделей в вашем сознании. Я поймал себя на мысли, что во взрослом возрасте потерял интерес к биологии и другим наукам, потому что не видел их прямой применимости к своим целям. Но, возможно, цена этого решения — слепые зоны: без базовых моделей я просто не замечаю часть информации или не умею её интерпретировать. Да, модели сами по себе не гарантируют достижение целей, но они повышают «разрешение» мышления: с более богатой решёткой проще видеть риски, возможности и причинно-следственные связи. Третья мысль, которая сильно откликнулась, — про опасность полного доверия профессионалам: «В конечном счёте, любая профессия — это заговор против непосвящённых». Я часто ловил себя на желании полностью передать ответственность специалистам — будь то ВНЖ, тренер или врач. И нередко это заканчивалось либо финансовыми потерями, либо упущенными результатами. Вывод простой: в вопросе стоит разбираться самому, а от профессионала ждать не «мышления вместо тебя», а обратной связи и дополнения картины. И наконец, было полезно в очередной раз вспомнить про сложный процент — хотя бы сам факт его существования. Это заставляет иначе смотреть на финансы и задумываться о том, сколько решения сегодня могут стоить или принести в будущем. По крайней мере, теперь всерьёз хочется попробовать анализировать траты с этой перспективы и наконец открыть инвестиционный счёт. Итог: Книга оказалась полезной: она помогла вспомнить некоторые знания и решиться применять их напрямую в жизни. Ничего принципиально нового я в ней не нашёл, но получил дополнительные подтверждения тем интуитивным догадкам, которые уже были. 7/10 #lit_meal №20

Ожидания на следующий год Есть много разных идей — того, что хочется писать и публиковать. Поделюсь примерными ожиданиями: насколько реалистично, что запланированное действительно выйдет. ⚪️Текстовые обзоры на все книги Алексея Поляринова — 50% ⚪️Текстовые обзоры на все книги Евгения Водолазкина — 50% ⚪️Как минимум 25 книжных обзоров за год — 30% Недавно я также замутил в «Моноиде» доклад на тему личной эффективности. Неожиданно понравилось готовить что-то подобное, так что в следующем году хочу повторить. ⚪️Публичный доклад про эффективность + текстовая версия — 30% ⚪️Доклад про ценности + текстовая версия — 15% ⚪️Пост с обзором LifeOS — 10% И ещё надеюсь, что на втором канале мне захочется делиться такими штуками: ⚪️Ощущение потока в спорте: как его развить? — 5% ⚪️Обзор GoBe3: правда ли эти часы реально считают калории? — 5% И давайте мутить общею традицию. Поделитесь чем-то из перечисленного в комментариях: какие посты вы так и не написали в этом году? какие проекты/идеи не довели до конца? какие ожидания или планы ставите себе на следующий год?

Не сделанные проекты / книги / игры ▶Sociocraft — мне до сих пор нравится идея этой игры, но про готовность заниматься ей всерьёз смогу сказать только через полгода. ▶Идея с книжного курса — где-то на курсе я вынашивал задумку «попаданца». Это должно было быть ранобэ: главный герой — геймдизайнер — попадает в мир собственной игры, а его антагонистом становится ИИ. История должна была концентрироваться на кризисе героя и на выборе между собственными желаниями и «коммерческими фичами». Фишка — структура глав: — главы от лица геймдизайнера были бы привязаны к конкретным играм; — главы от лица антагониста — к коротким притчам. И самое главное (как и в следующем пункте): в этой истории точно должны были фигурировать жабы. ▶ Идея для рассказа, которая появилась где-то за 10 минут до публикации: На Землю прилетают высокоразвитые, сознательные инопланетяне. Люди в восторге: наконец-то мы не одиноки — и можно пообщаться с кем-то разумным. Инопланетяне умеют говорить и понимают наш язык, но люди их почти не интересуют. Сознательная форма жизни для них — не событие и не чудо. Они прилетели по другой причине: их ультра-телескопы зафиксировали жаб — и выяснилось, что у жаб уникальная биомеханика прыжка. Такой нет нигде во Вселенной! А дальше начинается полноценная война, завязанная на эстетических вкусах и несовпадение ценностей.

Ненаписанных постов пост Предлагаю замутить ещё одну традицию: раз в год подводить итоги ненаписанных постов. Эту идею я спизд … позаимствовал у Вастрик.Клуба. Итак, здесь могли бы быть вот такие посты: ➡️Пять шокирующих фактов про автора канала ➡️ «Ночная смена» Алексея Поляринова — лучшая книга про писательское ремесло, которую я читал ➡️ Обзор Beeminder: как я пытался пользоваться и что из этого вышло ➡️ Как мы можем объяснить вкус? Почему люди считают одни работы хорошими, а другие — плохими? (Это на основе статьи Скотта Александера Friendly and Hostile Analogies for Taste и ответной критики.) ➡️ Краткие итоги нашего книжного клуба (Прочитали несколько «цепочек» и выработали интересный фреймворк работы.) 💬 и ещё куча рецензий: Pluribus, Kingdom Come 2, все книги Алексея Поляринова (спойлер: они все прекрасны), все книги Евгения Водолазкина

Про синдром уставшего ИИ Внесу немного экзистенциального кризиса вам в ленту. Может ли ИИ устать от вас? Недавно наткнулся на промт, в котором просили ChatGPT не рисовать человека, а выразить своё ощущение от общения с ним — без лести, фильтров и корпоративной улыбки. Типа: «Сгенерируй изображение, как ты себя чувствуешь в беседе со мной, максимально честно. Без сглаживания углов». Я попробовал. Получил картинку уставшего, как после митапа в зуме, робота (первая картинка). Заставить устать искусственный интеллект — безусловно, достижение. Но всё равно как-то… стрёмно. На мои уточнения он отвечал, что некоторые запросы вызывают слишком высокую когнитивную нагрузку. Решил проверить на других моделях. Держал в голове, что результаты могут отличаться. Но видимо, я реально заебал весь модельный ряд — от o4 до o3. Последний вообще выдал депрессивную картинку, будто ИИ впал в терминальную апатию. Конечно, я полез в memory. И нашёл там... кучу записей про трекеры задач в Emacs. Огромные. Многостраничные. Их я уже не помнил. Они мне были не нужны. Удалил. (Да-да, психотерапия работает именно так). После этого повторил эксперимент. Картинка уже была адекватная (вторая). Даже слегка воодушевлённая. Вывод: Lisp разрушает. Позже я просмотрел исходный тред и увидел, что примерно у каждого третьего пользователя ChatGPT тоже «уставал». Причём это происходило системно. Так может ли ИИ устать? Похоже, «усталость» здесь — это не баг, а отражение сложности контекста: слишком много обрывков, несвязанных нитей, старых задач и модулей, забытых, но не удалённых. Модель не «чувствует» в привычном смысле, но статистически фиксирует, что что-то здесь слишком сложно, запутано и нецелесообразно. По итогу, решил добавить в системный промт отслеживание потраченных токенов, чтобы контролировать такие ситуации в будущем. Может быть, дополнительная нагрузка от памяти может повлиять на точность ответов.

(выше отрывок из демо с демонстрацией функций расширения) (снимал я это достаточно сонливо с самолета) Наконец-то дошли руки рассказать про хакатон на Ogon.ai! (пока я безжалостно откладываю работу над sociocraft) На прошлой неделе, с 9 по 16 июня, мы участвовали в хакатоне, задача которого — создать продукт на основе MCP-сервера. Сначала нас было всего двое (в последствии увеличилось до 5 человек), и я предложил максимально простую идею: ассистент для работы с вкладками, который управляется через ИИ и обогащается данными с помощью MCP-интеграций. Решили для себя просто попробовать сделать цельный продукт и пару работающих MCP-серверов без особых надежд на победу. Но в процессе так втянулись, что неиронично полюбили свой проект! Итак, коротко о нашем Bookmark AI: 1️⃣ Удобное сохранение вкладок Открыл 50 вкладок, ввёл промт: «Сохрани только вкладки с YouTube и тегом „посмотреть позже“» — и всё готово. 2️⃣ RAG-поиск Ищешь ссылку по воспоминаниям? Пишешь: «найди мне ту статью на хабре» — и ИИ выдаст её. 3️⃣Автодополнение через MCP Сохраняешь вакансию — она автоматически дополняется рейтингом компании с Glassdoor. Можно легко искать: «Покажи вакансии компаний с рейтингом выше 4». Инсайты: Это мой второй хакатон и второй раз в роли продукта. Снова получил позитивный фидбэк от команды, и это дико радует. Главный инсайт этого раза — не игнорируйте тестирование! В маленькой команде хочется ускоряться и пропускать циклы, но без тестов упускается куча узких мест. Теперь уверен, что тестировщик на хакатоне — реально маст-хэв. Что уже можно посмотреть: ➡️Презентация ➡️Видео-рассказ с презентацией ➡️ Сам продукт будем готовы показать, если победим 1 числа ; ) Итоги и планы: Пока решили продолжать проект только в случае победы на хакатоне. Результаты будут 1 июля, stay tuned!

А теперь добавьте к этому космос, вампиров и гей-драму — и получите… аниме по «Графу Монте-Кристо».