Post #13351

ПРоклятие размерности существует только для слабо регуляризованных систем, таких как полносвязанные сети. Но как только вы начинаете ослаблять и удалять связи происходит регуляризация, способная даже вызвать гроккинг. Я показывал это на искуственной нейросети в докладе в октябре этого года. А теперь смотрим на мозжечёк, сколько там в действительности синапсов, и сколько их теоретически может быть. Хотя бы оценив по правилу "каждый не с каждым, а с некоторым количеством в окрестностях аксона", получаются тысячи и более степень прореживания, и соответственно степень регуляризации. И вот это уже никакое не проклятие, а рябь на воде. ПРоблема имеет чисто математическое решение, и оно известно очень не многим, но я не сомневаюсь достаточно многим учёным изучающим коннектом искуственных нейросетей. P.S. А данные авши так и леждат до сих пор. 😩 За весь январь до записей бибизьян всё ещё не добрался, языковые сети жму.