Post #4713

Ян ЛеКун наконец добился своего и мета выложили Code World Model. Было бы удивительно если бы не сделали то, от чего фанатеет начальство В чем принципиальная разница: Обычные code LLM учатся предсказывать код как последовательность токенов. CWM учится предсказывать что происходит при выполнении этого кода. Модель тренировали на 120М+ трейсах выполнения Python-функций, где каждый шаг выглядит как: <|frame_sep|><|line_sep|>{"n": "0", "c": "'s'"}<|action_sep|>n += int(c == t) То есть модель видит не просто код, а наблюдения (состояние переменных) и действия (выполняемые строки). Классическая схема world model: observation → action → next observation. Нужно это для того, чтобы модель могла делать вещи, которые принципиально недоступны обычным code LLM: 💛Симулировать выполнение без запуска (даем ей код с аргументами, она предскажет результат) 💛Планировать исправления (будет понимать, какие изменения к каким последствиям приведут) 💛Работать как дебаггер (может прыгнуть к любой строке и предсказать состояние) 🤩тыкаться сюда 😏резы в статье как всегда