Post #335

Ноам Шазир: Ml не заменит Google, но может стать вашей мамой — намёк на эмоциональные качества Шазир заявил, что одним из факторов, ускоряющий развитие Ml станет самоускорение Ml будет проектировать чипы и софт, ускоряя собственное развитие Это приведёт к прорывам в создании автономных агентов и более умных систем Ноам Шазир, соавтор статьи о трансформерах и лидер Google DeepMind по разработке Gemini, выступил на конференции Hot Chips: LLM — лучшая проблема в истории Он назвал языковое моделирование задачей, которая захватывает воображение От улучшения поисковых алгоритмов Google до моделей с триллионами параметров — LLM уже меняют подход к Ml, и это только начало «Мы только начали», — повторил он 1. Что хотят LLM от чипов? Ml требует от hardware масштабируемости и энергоэффективности: - Матричная математика и attention-механизмы: нужны чипы, оптимизированные под эти операции - Иерархия памяти: от DDR5 до HBM и on-chip SRAM для скорости и объёма - Optical I/O и chiplet-дизайны - Performance per watt: ключ к масштабированию моделей В пример Google TPU, но призвал к гибкости для мультимодальных моделей (текст, изображения, видео) 2. Самоускорение Ml Ml проектирует чипы, которые делают Ml мощнее — идея, которая ляжет в основу следующей фазы развития Ml 3. Прогнозы на будущее: - 1–2 года: рост энергоэффективности LLM, мультимодальные модели для текста, видео и изображений - 3–5 лет: автономные Ml -агенты, решающие сложные задачи, и чипы для edge-computing - Долгосрочная перспектива: шаги к AGI, но с фокусом на этику и практическое применение Шазир отметил вызовы, такие как «незабывание» моделей (forgetting mechanism), и предложил улучшать attention-механизмы «Чипы должны быть не только мощнее, но и умнее в коммуникации»