TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1189 · 13.12

Это текст Александра Беспалова, но его в Телеграме нет, поэтому просто процитирую тут. Это второй репост за всю историю канала, но очень уж понравилась Поговорил с чатом о Канте, получилось забавно. Одна из основных мыслей Канта, которая потом поломала всю философию была такая, что "априорные категории (причинность, время, пространство,...) создают возможность эмпирического познания". Т.е. знание науки это не отражение (иногда ошибочное) природы, как считали ранее. Это результат наложения каких-то "встроенных (в голову) схем" на опыт жизни, для получения какого-то вторичного продукта, который называется — "мир-для-нас". А "мир-как-есть" для нас недоступен, в принципе. Дальнейшее развитие философии происходило в обсуждении, насколько вообще ок так делать и можно ли с этим всем хоть что-то познать вообще? Что создало для философии XX века ощущение полной шизы и бессмысленного копания в смыслах слов. Но это, в наше время, банальное наблюдение, которое все и так знают, более ли менее (если не кондовые сциентисты). И "истина" в этом смысле это просто более устойчивое соответствие модели эксперименту (запомните это определение слова). Под устойчивостью понимается то, что соответствие не рушится от изменения среды. Допустим, мы считаем, что от тяжести вещи зависит скорость падения. Это наша модель. Тут приходит Галилей и начинает по наклонной плоскости катить шарики разного веса и они всегда разгоняются более ли менее одинаково. Модель не устойчива к изменению "среды". А вот модель, где ускорение свободного падения не зависит от массы, устойчива к наблюдениям кидания шариков разной массы с разным ускорением, потому что можно легко туда добавить сопротивление воздуха и получить разные разгоны на выходе. Но это тоже довольно обычно, как мне показалось. А вот что меня зацепило, это то, что из этого следует, что "истина" это не универсальная цель или метафизический эталон, а часть противоречивого эволюционного механизма выживания. Если модель более устойчива к изменению контекста, то общество, которое ей обладает, способно приспособиться к более широкому спектру возможных сред обитания (относительно обществ, которые не обладают "истиной"). При этом (как положено внутри эволюционных механизмов), внутри хорошо структурированного общества "стремление к истине" это не самая удачная личная стратегия выживания. Хорошо структурированное общество создает внутри себя устойчивый контекст, в котором начинают эффективно работать простые эвристики (чувствительные к любым изменениям контекста). Они гораздо менее энергозатратные, чем "стремление к истине". И на личном уровне, внутри структурированного общества, стремление к истине (как модели устойчивой к изменениям) может быть просто вредно. Поэтому в обществе организуются пласты создателей и потребителей инфоцыганского и сходного контента. Этот пласт перераспределяет ресурсы внутри общества, но НЕ делает общество более адаптивным к возможным изменениям среды. Если общество начинает состоять только из таких людей, оно рушится, потому что не способно выдержать никаких изменений. Но в этом и хитрость эволюции. Выживают только те структурированные общества, где хоть как-то это (на личном уровне не эффективное) стремление к "истине" проявлено. Оно позволяет протащить общество через изменения за счет более устойчивых моделей (само)управления. И вот мы приходим через тысячи лет эволюции к состоянию, где "истина" сакрализируется, потому что (на личном уровне и в контексте общества) вообще непонятно нахрена это все нужно. Отсюда метафизическое представление Канта об истине как об имманентном свойстве суждения (как бы это часть способности мыслить, в принципе. Без нее нет смысла говорить об осмысленной деятельности). Но ларчик (возможно) открывается проще. Все общества, где "истина" это не ценность хотя бы для некоторой части людей, умерли. И все общества, где она обесценится, исчезнут. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #sft

当前筛选 #sft清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8851 · 24.10.2025 г., 22:00

🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы. Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи. Сначала генерируются диалоги: «Сколько букв r в слове strawberry?» и правильные ответы. После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык. Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы. Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу. Nanochat решает задачу двумя способами: — логически, рассуждая пошагово; — через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата. Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные. 📘 Разбор: github.com/karpathy/nanochat/discussions/164 @ai_machinelearning_big_data #AI#Karpathy#Nanochat#LLM#SFT#RL#MachineLearning#OpenSource