Post #16

🧠Что я сегодня узнал 35 миллиардов нейронов, а думают только 3. Вчера Alibaba выпустила новую ИИ-модель Qwen 3.5. И там есть фишка, которая меня зацепила. Представь офис на 350 человек. Приходит задача — и вместо того чтобы все 350 бросились её решать, встают 30 нужных специалистов. Остальные сидят. Не потому что ленивые — просто для этой задачи нужны именно эти. Так работает Mixture of Experts. Модель огромная, но в каждый момент работает только маленький кусочек — тот, который лучше всего подходит. Результат: думает как большая, а ресурсов жрёт как маленькая. Я попробовал запустить её на своём маке. Скачал 23 гигабайта, а у меня всего 24. Модель влезла в память — а операционной системе жить стало негде. Как забить весь холодильник одним арбузом: арбуз есть, а положить больше нечего. Но сама идея — красивая. Раньше чем больше модель, тем дороже её запускать. Теперь это не так. Размер стал обманкой: снаружи — гигант, внутри работает лёгкий точный механизм.