Post #114

Заметки по статье Why AGI Will Not Happen Физические ограничения: 1) уменьшение транзисторов линейно увеличивает GFlops (локальные вычисления, например MLP) 2) уменьшение транзисторов не увеличивает линейно пропускную способность памяти (т.е. подгрузку данных для локальных вычислений, например Attention), т.к. большая память занимает много места, нужно переносить информацию через большие расстояния (например L1/L2/L3 кэши сделаны одинаково, но чем кэш больше - тем медленнее из-за расстояний), узкое место - проводники, а не тех. процесс транзисторов 3) линейный прогресс требует экспоненциальных ресурсов, L1/L2/L3 кэши от увеличения размера становятся медленнее так же как склад большей площади требуют все более сложной внутренней инфраструктуры (от одно сотрудника, через сотрудников с тележками, до системы с автотранспортом, роботами и т.п.) из-за накладных расходов связанных с внутренней коммуникацией (как и с эффективностью одиночки VS небольшая команда VS корпорация VS человечество) 4) т.е. локально запаковывать подарки к рождеству (GFlops, MLP) можно так же эффективно независимо от общего количества подарков (т.к. каждый упаковщик делает это независимо) 5) но коммуникация, объединение результатов (коммуникация, Attention) не масштабируются так легко Про пространство идей: 6) если есть две сильно несвязанные идеи как что-то улучшить, то их кумулятивный эффект чаще всего перемножается 7) но если идеи близки по смыслу, то каждая очередная идея из этого направления приносит все меньше и меньше пользы. Иначе говоря - в рамках развития идей около Attention шансов сделать значимый прорыв все меньше и меньше. И проблема в том что шансы резко найти другую нехоженую тропинку малы, т.к. текущий путь вероятно близок к прямолинейному инженерному решению задачи (т.е. близок к оптимальному), т.к. решение навязывается постановкой задачи и ограничениями реальности 8) в теор. физике тоже все больше сходится к асимптоте и плато, ученые скорее уточняют (в мелких деталях, с малозначительным эффектом), либо занимаются "выдуманными" задачами (сбегая из исследованных и пресыщенных усилиями областей) - не имея ясного влияния на теор. физику, по аналогии с "достижим ли Artificial Superintelligence?" не ясно "достижимо ли понять что такое темная материя?" В результате для линейного прогресса - нужны экспоненциальные ресурсы: 9) GPU больше не развиваются, поэтому не стоит ожидать "GPU развиваются линейно => AI развивается линейно", развитие достигается через большее количество видеокарт, соотношение производительность/стоимость достигло пика в 2018 году, позже появлялись только разовые исчерпывающиеся улучшения, их не развить линейно (см. fp16/fp8/fp4, tensor cores), оптимизации на уровне серверной стойки тоже достаточно однозначно определены с инженерной точки зрения и исчерпаются в ближайшие годы 10) раньше линейный рост достигался через экспоненциальные ресурсы в лице экспоненциального роста мощности GPU, благодаря этому линейный рост через линейные усилия, теперь этого рычага нет, и рост станет логарифмическим 11) США придерживается идеи "у кого лучшая модель - тот и выиграл". Китай придерживается идеи "важна полезность и интегрированность модели в разные сервисы, она должна быть применима и приносить явную ценность/продуктивность по разумной цене". Если ИИ упрется в плато - стратегия Китая выглядит гораздо лучше 12) так же как с софтом и цифровой автоматизацией важна реальная польза, и там где до сих пор нет цифровизации - она может дать лишь незначительную пользу (т.е. экономически не оправдана). Так и тут важно получить пользу через интегрированность в самых полезных случаях. ИИ в роботах и прочем - сомнительны, т.к. на фабриках уже используются специализированные высокоточные роботы, а робот дома - не однозначен. Фабрики уже автоматизированы, остальные задачи - экономически не оправданы 13) Идеи про то что появится сильный ИИ и начнет сам себя раскручивать с все увеличивающимся темпом не учитывают физические ограничения задач