@ai_machinelearning_big_data · Post #9301 · 23.12.2025 г., 13:56
🚀 Вышел QwenLong-L1.5 - модель для long-context reasoning, которая на длинных контекстах конкурирует с GPT-5 и Gemini-2.5-Pro. Коротко о модели - 30B параметров, из них 3B активных - Заточена под рассуждение на очень длинных контекстах - Полностью открыты веса, код обучения и рецепты данных Ключевые показатели: - +31.7 балла на OpenAI MRCR при контексте 128K - SOTA среди всех моделей - На уровне Gemini-2.5-Pro на 6 крупных long-QA бенчмарках - +9.69 на CorpusQA - +6.16 на LongBench-V2 Что интересного. 1. Синтетические данные в масштабе 14.1K длинных reasoning-сэмплов из 9.2B токенов без ручной разметки. Средняя длина - 34K токенов, максимум - 119K. 2. Стабильное RL-обучение Используется балансировка задач и Adaptive Entropy-Controlled Policy Optimization (AEPO), что позволяет стабильно обучать модели на длинных последовательностях. 3. Архитектура с памятью Итеративные обновления памяти за пределами окна 256K токенов. Результат - +9.48 балла на задачах с контекстом от 1M до 4M токенов. QwenLong-L1.5 - это один из самых сильных open-source шагов в сторону реально масштабируемого ризонинга с длинным контекстом Модель интересна не только результатами, но и тем, что весь стек обучения открыт. GitHub: https://github.com/Tongyi-Zhiwen/Qwen-Doc Paper: https://modelscope.cn/papers/2512.12967 Model: https://modelscope.cn/models/iic/QwenLong-L1.5-30B-A3B HF: https://huggingface.co/Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B @ai_machinelearning_big_data #AI, #LLM, #opensource, #long#Owen
Hashtags