Post #9354

🌟 IQuest-Coder-V1: китайская модель, которая обошла лидеров в кодинге. Quest Research, поддержанная фондом Ubiquant, представила 40-миллиардную модель c контекстным окном в 128K токенов, которая, со слов авторов, выбивает 81,4% на SWE-Bench Verified, 49,9% на BigCodeBench и 81,1% на LiveCodeBench v6. Это превосходит показатели Claude Sonnet 4.5 и GPT-5.1, несмотря на значительно меньшее количество параметров. Модель использует технику "code-flow" — обучение на эволюции репозиториев и коммитах, и разделена на 2 ветки: 🟠Dense Models : Base и Instruct версии для дообучения и следованию инструкциям 🟢Loop Models: оптимизированная версия с максимальной эффективностью по VRAM (int4 может запускаться на 3090\4090) Архитектура LoopCoder использует циклическую конструкцию трансформера, где одни и те же параметры модели используются в 2-х последовательных проходах обработки данных. На первом проходе модель обрабатывает эмбеддинги через свои слои с учетом позиций слов. На втором проходе модель одновременно использует два типа внимания: глобальное внимание, которое обращается ко всей информации из первого прохода для понимания общего контекста, и локальное внимание, которое смотрит только на предыдущие слова во втором проходе для сохранения последовательности текста. Оба типа внимания комбинируются с помощью механизма, который решает, сколько веса дать глобальному контексту, а сколько локальной последовательности. В техотчете заявлены еще 7B и 14B версии, но сроки их публикации неизвестны. 📌Лицензирование: Modified MIT License 🟡Страница проекта 🟡Техотчет 🟡Набор моделей 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#IQuest#QuestResearch