查找相似内容

✔️Ling-1T - новая модель от inclusionAI с 1 триллионом параметров Модель на 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура). Она обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений. Контекст: 128 000 токенов. Построена на базе Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - нового метода обучения для масштабируемых рассуждений. При помощи Evo-CoT модель постепенно улучшает баланс между точностью рассуждений и вычислительной эффективностью. То есть с каждым шагом она пытается делать рассуждения «глубже», но не слишком дорого по ресурсам. Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации. В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов. Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными. https://huggingface.co/inclusionAI/Ling-1T @ai_machinelearning_big_data #Ling1T#AI#ML#OpenSource#Reasoning#TrillionScale#FP8