Post #1294

Qwen3-Next 80B-A3B C того момента как она вышла, уже вышла Doubao, Step3, Qwen3-235B, DeepSeek V3.2 и я за пивом - Hybrid Architecture: Gated DeltaNet + Gated Att - вариция на тему RNN + не везде а только 75% cлоев и 25% cлоев обычный attention - 3b активных параметров при 80 тотал - Используют QK postnorm по аналогии с DIT для улучшения стабильности - MTP как в deepseek - Показывают бОльшую скорость префила и декода чем соседи по метрикам (это если что qwen 30bA3 и qwen 32b) blog