Post #602

Перплексия теперь не модно. Эпиплексия модно Всё на благо ограниченных наблюдателей! Авторы ввели понятие эпиплексии (epiplexity) — новую метрику из теории информации, которая оценивает объём структурной информации, доступной *вычислительно ограниченному* наблюдателю В отличие от энтропии Шеннона или колмогоровской сложности, подразумевающих бесконечные ресурсы, эпиплексия явно учитывает конечность модели (программы) и процесса обучения (вычислений) Этот фреймворк разрешает старые парадоксы, где теория противоречит практике глубокого обучения — например, почему детерминированные процессы (вроде симуляций или self-play) создают ценный сигнал Практически это даёт строгую метрику для отбора данных: для предобучения важен не минимум финального лосса (энтропии), а максимум усваиваемой структуры (эпиплексии) Подробнее: https://t.me/gonzo_ML_podcasts/2022 Epiplexity: Quantifying the Structural Value of Data for Bounded Observers Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, J. Zico Kolter, Andrew Gordon Wilson Статья: https://arxiv.org/abs/2601.03220 Ревью: https://arxiviq.substack.com/p/from-entropy-to-epiplexity-rethinking