Post #76

Для следующих моделей GPT нужны фундаментальные исследования в ML Настал конец эпохи предобучения Фундаментальные исследования возвращаются —простое увеличение размера моделей достигло своих пределов и нужны новые научные прорывы Для создания более мощных и эффективных моделей следующего поколения нужно углубляться в теоретические основы ML, искать новые идеи и решения, и не полагаться только на масштабирование текущих методов Для достижения AGI или создания более способных ML-агентов нужны новые архитектуры и подходы, которые позволят ML глубже понимать реальность, а не только обрабатывать данные Что будет дальше? 1. Специализированные модели для разных задач 2. Cистемы из множества взаимодействующих ИИ 3. Новые способы обучения и архитектуры 4. Упор на практическое применение, а не размер GPT не исчезнут, но: - GPT-5, 6, 7... могут не дать такого же скачка как GPT-3→GPT-4 - Прорывы будут в других направлениях (мультимодальность, рассуждения, агенты) - Отрасль переходит от "гонки параметров" к "гонке идей"