Post #134

Обновили SWE-rebench за июль и вместе со стандартными замерами выкатили пару интересных апдейтов. На лидерборде появились: Gemini-2.5 Pro, o4-mini, DeepSeek-R1-0528, разумеется все последние Qwen3, включая Coder-480B, который ворвался в топ1; а также загадочную модельку horizon-alpha, про которую сейчас ходят различные слухи, будто это gpt5/gpt5-mini или OSS модель от openai (спасибо Игорю @seeallochnaya, который пришел с утра и сказал, что openrouter дает бесплатно ее погонять). Есть еще пара технических апдейтов, включая 1-shot демонстрацию для вызовов тулов: теперь вместо рендеринга демо внутри систем промпта, мы кладем несколько assistant-tool сообщений. Это полечило 95% ошибок с вызовом тулов у всех моделей. Предвкушая вопросы: Qwen3-Coder-30B-A3B-Instruct добавим буквально на днях. Kimi-K2 тоже добавим, но пока у нее проблемы с вызовом тулов в multi-turn траекториях. Ну и скажу, что уже есть большие планы по тому, чтобы добавить в бенчмарк классные фичи, что-то появится в ближайшем релизе за август, что-то чуть позже, но в любом случае работа идет!