Post #189

Китай создал ML, который впервые может создать новые архитектуры Они называют это моментом AlphaGo ASI-Arch - 1ая система искусственного сверхинтеллекта (ASI) для автоматизации научных исследований в области нейронных архитектур без участия человека Система может автономно выдвигать гипотезы о новых архитектурных концепциях, реализовывать их в виде исполняемого кода, обучать и эмпирически проверять их производительность через строгие эксперименты ASI-Arch создала 106 новых архитектур, превосходящих человеческие разработки - это не теоретическое достижение, а практический результат Ключевые достижения ASI-Arch: 1. 1.773 автономных эксперимента 20,000 GPU-часов вычислений Обнаружено 106 новых архитектур линейного внимания, превосходящих существующие 2. Переход от автоматизированной оптимизации к автоматизированным инновациям Система не просто перебирает варианты в заданном пространстве, а создает принципиально новые архитектуры 3. Впервые эмпирически показано, что архитектурные прорывы можно масштабировать вычислительно - чем больше вычислений, тем больше открытий (линейная зависимость) ASI-Arch основана на FLAME, LM-Evaluation-Harness и Flash Linear Attention GitHub - GAIR-NLP/ASI-Arch: AlphaGo Moment for Model Architecture Discovery, что указывает на использование существующих открытых инструментов и фреймворков в качестве основы для создания этой системы Разработка является результатом труда команды GAIR-NLP