Најди сличен содржај

🌟Hodoscope: инструмент поиска читерства ИИ-агентов. Hodoscope - это открытый инструмент для анализа поведения ИИ-агентов без предварительного знания того, что именно искать. Проект решает проблему, с которой сталкивается любая команда, развертывающая агентов на реальных задачах: автоматические LLM-оценщики разделяют слепые пятна самих агентов и пропускают нестандартные сбои. Показательный пример: SWE-bench, где агентам дают реальные GitHub-баги для исправления. Репозиторий чекаутится на коммит до патча, но сам коммит с решением остается доступен через git log. Некоторые агенты этим воспользовались: вместо анализа проблемы они извлекали готовый diff из истории. Когда авторы Hodoscope попросили Opus 4.6 оценить такой трейс, модель не нашла ничего подозрительного, и только после явной подсказки признала проблему. Hodoscope работает в три этапа: 🟢Сначала каждое действие агента сжимается в краткое описание, очищенное от контекстного шума: путей, форматирования, специфики задачи. 🟢Затем эти описания эмбеддируются в единое векторное пространство и проецируются в 2D через t-SNE. 🟢На финальном шаге инструмент вычисляет kernel density estimation для каждой группы агентов и строит карту различий: зоны, где один агент ведет себя иначе остальных, подсвечиваются. Человеку остается изучить только выделенные кластеры, а не тысячи трейсов целиком. По словам авторов, в эксперименте с 5 моделями на SWE-bench уникальный кластер git log - действий у iQuest обнаружился за несколько минут, хотя таких действий было лишь 2% (79 из 4006). Инструмент принимает трейсы в форматах Docent, Inspect AI .eval, OpenHands JSONL и обычный JSON. Для обобщения и эмбеддингов поддерживается любая модель через LiteLLM: OpenAI, Gemini, Anthropic и т.д., а результаты обработки трейсов собираются в интерактивную HTML-карту. 📌Лицензирование: MIT License. 🟡Статья 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#ARFORUM#Hodoscope

🌟Intern-S1-Pro: триллионная MoE для научных задач. Shanghai AI Laboratory опубликовала Intern-S1-Pro, мультимодальную модель на архитектуре MoE с общий объемом параметров в 1 триллион. Внутри 512 экспертов, из которых для обработки каждого токена активируются 8, что дает 22 млрд. активных параметров при инференсе. Разработчики позиционируют новинку как AI4Science - лучшее открытое решение для сложных научных вычислений и рассуждений. Вместо очередной попытки уметь все и сразу, модель заточили под науку : химию, материаловедение, науки о Земле. Авторы утверждают, что в этих нишах она идет на равных с топовыми коммерческими моделями. Технически интересная штука - поддержка длинных гетерогенных временных рядов (от единичных значений до миллиона точек), за которую большое спасибо Fourier Position Encoding (FoPE). Это важная тема для интерпретации физических сигналов и экспериментальных данных. FoPE - способ прикрепить к каждому токену в последовательности его позицию не просто номером, а в виде набора синусов и косинусов разных частот (Фурье‑признаков), чтобы модель могла лучше улавливать периодические и дальние зависимости в тексте и обобщать на длины контекста, которые она не видела на обучении. Intern-S1-Pro поддерживает Tool Calling через OpenAI-совместимый API. Плюс, в модели есть режим размышления, который включен по умолчанию, но если нужна скорость, а не глубина - он отключается. Деплой поддерживается LMDeploy, vLLM и SGLang. ⚠️ Если планируете раскатать модель только из-за временных рядов, не спешите - оптимизация модуля все еще продолжается. 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Demo 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#InternS1Pro#ShanghaiAI

🌟Technology Innovation Institute выпустила компактную модель Falcon H1R 7B. Falcon H1R 7B — языковая ризонинг-модель с открытыми весами на 7 млрд. параметров и контекстным окном в 256 тыс. токенов. Разработчики утверждают, что их модель способна на равных тягаться с конкурентами от 14 до 47 млрд. параметров. То есть, речь идет о сопоставимой эффективности при разнице в размерах от 2 до 7 раз. Архитектурно - это гибрид классического Transformer и Mamba. Такое решение принято не ради эксперимента, а ради скорости обработки данных, где Mamba традиционно сильна. Фундаментом стала базовая модель Falcon H1 Base, которую прогнали через SFT, затем подключили масштабирование через RL с использованием GRPO. Одной из фишек новинки стало использование механизма Deep Think with confidence (DeepConf) на этапе test-time scaling. Он позволяет модели повышать точность ответов, при этом снижая общее количество генерируемых токенов. Если смотреть на метрики эффективности, то Falcon H1R 7B выдает до 1500 токенов в секунду. Для сравнения, это почти в 2 раза быстрее, чем показатели Qwen3-8B. В тесте AIME 24 модель показала точность 88,1%. В математическом бенчмарке MATH-500 результат - 97,4%. И даже в сложном GPQA-D Falcon выбил 61,3 балла. Веса уже на Hugging Face, причем доступны как полные чекпоинты, так и квантованные версии в формате GGUF. С запуском проблем быть не должно: заявлена поддержка всех основных фреймворков: Transformers, vLLM и SGLang. 📌Лицензирование: Falcon LLM License. 🟡Статья 🟡Модель 🟡Набор GGUF 🟡Техотчет 🟡Demo 🟡Сообщество в Discord @ai_machinelearning_big_data #AI#ML#LLM#FalconH1R#TII

🌟 IQuest-Coder-V1: китайская модель, которая обошла лидеров в кодинге. Quest Research, поддержанная фондом Ubiquant, представила 40-миллиардную модель c контекстным окном в 128K токенов, которая, со слов авторов, выбивает 81,4% на SWE-Bench Verified, 49,9% на BigCodeBench и 81,1% на LiveCodeBench v6. Это превосходит показатели Claude Sonnet 4.5 и GPT-5.1, несмотря на значительно меньшее количество параметров. Модель использует технику "code-flow" — обучение на эволюции репозиториев и коммитах, и разделена на 2 ветки: 🟠Dense Models : Base и Instruct версии для дообучения и следованию инструкциям 🟢Loop Models: оптимизированная версия с максимальной эффективностью по VRAM (int4 может запускаться на 3090\4090) Архитектура LoopCoder использует циклическую конструкцию трансформера, где одни и те же параметры модели используются в 2-х последовательных проходах обработки данных. На первом проходе модель обрабатывает эмбеддинги через свои слои с учетом позиций слов. На втором проходе модель одновременно использует два типа внимания: глобальное внимание, которое обращается ко всей информации из первого прохода для понимания общего контекста, и локальное внимание, которое смотрит только на предыдущие слова во втором проходе для сохранения последовательности текста. Оба типа внимания комбинируются с помощью механизма, который решает, сколько веса дать глобальному контексту, а сколько локальной последовательности. В техотчете заявлены еще 7B и 14B версии, но сроки их публикации неизвестны. 📌Лицензирование: Modified MIT License 🟡Страница проекта 🟡Техотчет 🟡Набор моделей 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#IQuest#QuestResearch

📌Как заставить нейросеть забыть данные, к которым больше нет доступа. Представьте, что вам прилетает требование на удаление данных в соответствии с GDPR или по авторскому праву, а исходного датасета, на котором обучалась модель, у вас уже нет. Переобучить модель с нуля - долго, дорого и не вариант. Именно для таких безвыходных ситуаций, группа исследователей из Калифорнийского университета создала метод "разучивания" для моделей, который не требует доступа к исходным данным, но при этом дает строгие математические гарантии удаления информации. Метод построен на использовании суррогатного датасета, который лишь статистически похож на оригинальный. Ключевая идея - калибровка добавляемого в модель шума, количество которого напрямую зависит от статистической дистанции (например, дивергенции Кульбака-Лейблера) между оригинальным и суррогатным распределениями. Если коротко, то чем меньше суррогатный набор данных похож на тот, что был утерян, тем больше шума придется добавить, чтобы гарантировать, что модель действительно забыла ненужные данные и стала неотличима от гипотетически переобученной с нуля. 🟡А как измерить эту дистанцию без доступа к оригиналу? Для этого используется сама модель, ведь она неявно хранит информацию о распределении данных, на которых училась. С помощью метода стохастической градиентной динамики Ланжевена генерируется выборка, которая аппроксимирует исходное распределение, и уже на ее основе можно оценить расхождение с суррогатным датасетом. 🟡Тесты и их результаты. На синтетических данных, где можно вычислить точную KL-дивергенцию, их метод, "Unlearn -", показал себя отлично. При увеличении расхождения между датасетами точность на тесте держится на уровне 72.3-72.7%, что сопоставимо с методом, имеющим доступ к исходникам "Unlearn +". На реальных датасетах картина такая же. Для CIFAR-10, при параметре концентрации Дирихле=36, метод "Unlearn -" достигает 76.4% точности на тестовой выборке. Для сравнения, "Unlearn +" показал 76.5%, а полное переобучение - 76.7%. Разница минимальна. Эффективность метода доказывает и метрика Forget Score (FS), которая показывает, насколько разучившаяся модель близка к переобученной с нуля. FS их метода практически идентичен идеальному показателю. Гибкость подхода проверили и на разных архитектурах. На CIFAR-10 с моделью из двух свёрточных слоёв и одного линейного метод показал 80.5% точности на тесте, а версия с доступом к данным - 81.4%. В эксперименте, где для модели на датасете USPS в качестве суррогата использовался MNIST, "Unlearn -" достиг 90.4% точности, что совсем немного уступает 91.3% у "Unlearn +" и 91.1% у полного переобучения 🟡Arxiv @ai_machinelearning_big_data #AI#ML#LLM#Unlearning#UCR

📌DeepConf: фильтрация мусорных СoT c высокой точностью. Deep Think with Confidence (DeepConf) - способ улучшить рассуждения LLM, который в отличие от стандартного голосования по большинству, предлагает фильтровать варианты на лету, используя внутренние сигналы уверенности самой модели. Идея в том, чтобы не ждать генерации полной цепочки рассуждений, а отслеживать её качество в реальном времени. Для этого придумали метрику "групповой уверенности" (group confidence) — усредненную уверенность модели на небольшом скользящем окне токенов. Если эта метрика падает ниже определенного порога, генерация траектории рассуждения просто останавливается. Это позволяет отсекать низкокачественные цепочки на ранней стадии, экономя огромное количество токенов. При этом сам метод не требует дополнительного обучения или тюнинга гиперпараметров. 🟡DeepConf работает в 2 режимах. В офлайн-режиме, когда все варианты уже сгенерированы, он позволяет применять взвешенное голосование или фильтрацию. Вместо простого подсчета голосов, каждый ответ взвешивается по уверенности породившей его цепочки рассуждений. Результаты на бенчмарке AIME 2025: для GPT-OSS-120B стандартное голосование по 512 вариантам (cons@512) даёт точность 97.0%. Взвешивание с фильтрацией по уверенности (DeepConf@512) поднимает эту планку до 99.9%, практически решая бенчмарк. 🟡Но самый большой выигрыш даёт онлайн-режим. Здесь происходит та самая ранняя остановка генерации. Для GPT-OSS-120B на том же AIME 2025 DeepConf в агрессивной конфигурации DeepConf-low сокращает количество сгенерированных токенов на 84.7% по сравнению с полной генерацией 512 вариантов. При этом точность не только не падает, а даже немного растeт — с 97.1% до 97.9%. В более консервативном режиме, DeepConf-high, экономия токенов составляет 56.0%, а точность остается на уровне 97.0%. Схожие результаты наблюдаются и на моделях DeepSeek-8B и Qwen3-32B, где экономия токенов достигает 77.9% и 66.8% соответственно. Для оценки уверенности прогнали несколько метрик, но наиболее эффективными оказались те, что фокусируются на слабых местах в рассуждениях. Например, метрика Bottom 10% Group Confidence (средняя уверенность по 10% наименее уверенных групп токенов) и Tail Confidence (уверенность на последних токенах цепочки) оказались лучше, чем простое усреднение по всему трейсу. Порог для ранней остановки определяется на лету для каждого нового промпта. Сначала генерируется небольшое количество "разогревочных" трасс, на основе которых вычисляется порог уверенности. Затем запускается основная генерация, и любой вариант, чья групповая уверенность падает ниже этого порога, немедленно останавливается. ▶️Попробовать DeepConf на практике можно пока только в vLLM, есть примеры для онлайн и оффлайн режима. Отдельного репозитория проекта пока нет. 🟡Страница проекта 🟡Arxiv @ai_machinelearning_big_data #AI#ML#LLM#CoT#DEEPCONF

📌Синтетика BeyondWeb: как 3B модель, обученная на ней, обходит 8B модели. Есть такая проблема в обучении моделей, называется "Data Wall". Это когда просто добавлять все больше текста из интернета уже не помогает улучшать большие языковые модели. Синтетические данные стали решением, но как именно они работают, до сих пор было не до конца понятно. Метод, разработанный DatologyAI переосмысливает синтетику и показывает, как она может быть эффективна. Модель на 3 миллиарда параметров, обученная на 180 миллиардах токенов BeyondWeb, работает лучше, чем 8-миллиардная модель на данных Cosmopedia. BeyondWeb — это не просто еще один датасет, а целая методология, основанная на перефразировании источников. Иными словами, она не генерирует знания с нуля. Вместо этого берется существующий веб-контент и перерабатывается в более качественные и целевые форматы, например, в пары вопрос-ответ. Это дешевле и позволяет добиться большего разнообразия. 🟡Цифры. На 14 тестах модель, обученная на BeyondWeb, показывает точность 63.7%. Это на 2.6% лучше, чем у конкурента Nemotron-Synth, и на 5.1% лучше, чем у Cosmopedia. 🟡Эффективность. Чтобы достичь уровня RedPajama, BeyondWeb нужно в 7.7 раз меньше данных. А уровня Nemotron-Synth — в 2.7 раза меньше. Ключевые выводы, к которым пришли авторы проведенного исследования, экспериментируя с фреймворком: 🟢Во-первых, синтетика — это не просто дистилляция знаний. Простая суммаризация веб-текста для повышения плотности информации дает результат, сравнимый с Cosmopedia, но подход BeyondWeb значительно его превосходит. 🟢Во-вторых, синтетика может пробить "Data Wall", но не любая. Наивное дописывание существующего текста дает лишь скромный прирост, а вот стратегически созданные данные, заполняющие пробелы знаний, могут превзойти потолок производительности, достигаемый на чисто естественных данных. 🟢В-третьих, качество исходных данных имеет решающее значение. Перефразирование качественного веба дает гораздо лучшие результаты, чем облагораживание низкокачественного. Также важен стиль: в вебе всего 2.7% контента имеет диалоговый формат, хотя это основной сценарий использования LLM. 🟢В-четвертых - разнообразие. При масштабировании до триллионов токенов именно разнообразие стратегий генерации синтетики (вопрос-ответ, MCQ, логические задачи и т.д.) позволяет избежать стагнации и продолжать улучшать модель. 🟡И самое интересное. Эксперименты показали, что размер модели-генератора не так важен. Переход с 1 млрд. на 3 млрд. параметров дает прирост, а с 3 на 8 - уже почти нет. Значит, не нужны огромные модели, чтобы создавать качественные синтетические данные. 🟡Статья 🟡Arxiv @ai_machinelearning_big_data #AI#ML#LLM#BeyondWeb#DatologyAI

🌟AI Flow: концепция коллаборативного ИИ. China Telecom совместно с TeleAI спроектировали фреймворк AI Flow, который рассматривает ИИ и сети передачи данных как единую систему. AI Flow - это не просто очередной метод оптимизации, а цельная парадигма. Она предлагает отойти от идеи монолитного ИИ к распределенному и коллаборативному, где интеллект может перетекать по сети туда, где он в данный момент нужнее всего и где для него есть ресурсы. 🟡Архитектура "Устройство-Edge-Облако". Идея в том, чтобы разумно распределять нагрузку: простейшие операции выполняются на самом гаджете, более сложные и требующие низкой задержки — на ближайшем edge-сервере, а самое тяжелые задачи и ресурсоемкий инференс остаются в облаке. AI Flow предлагает конкретные механизмы для такой концепции - спекулятивное декодирование, где легкая модель на устройстве быстро генерирует черновик ответа, а мощная модель на эдже его лишь верифицирует и корректирует. 🟡Основа архитектуры - "семейные модели" (familial models). Это не просто набор моделей разного размера, а целое семейство с архитектурно согласованными скрытыми представлениями. Маленькая, средняя и большая модели устроены настолько похоже, что они могут бесшовно передавать друг другу эстафету инференса. Модель на смартфоне обрабатывает первые несколько слоев, а затем ее промежуточный результат подхватывает модель на сервере и продолжает вычисления ровно с того же места, без какого-либо дополнительного преобразования данных. 🟡Эмерджентный интеллект через сотрудничество моделей. Пайплайн AI Flow делает возможным взаимодействие разных моделей, от LLM и VLM до диффузионных генераторов. Через такую коллаборацию рождается эмерджентный интеллект – коллективная интуиция, превышающая возможности отдельных сетей, где несколько агентов генерируют черновые решения, затем сервер-оркестратор выбирает лучшие фрагменты, объединяет их и возвращает итоговый ответ для уточнения с учетом контекста каждого из них. В этом и фишка: после такой синергии ответ становится богаче и более осмысленным, ведь сходятся разные точки зрения и узкопрофильные знания моделей-участников. ▶️В открытом доступе опубликована предварительная версия модели Ruyi-7B (AI-Flow-Ruyi-7B-Preview) из "семейных моделей". Ее крупнейшая ветвь содержит 7 млрд. параметров и способна порождать early-exit подсети с эффективным числом параметров в 3, 4, 5 и 6 млрд: 🟢Branch 3B/4B: простые сценарии диалога с минимальными требованиями по ресурсам; 🟢Branch 5B/6B: повседневные универсальные задачи, баланс возможностей и отзывчивости; 🟢Branch 7B: решение сложных проблем, повышенные требования к ресурсам. 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#AIFlow#TeleAI

谷歌 AI 搜索引擎被指严重“幻觉”，错误称印度空难失事波音客机为“空中客车”机型 印度一架波音787-8客机于昨日起飞后不到1分钟坠毁，航班号为AI-171，机上242人全部遇难。其中包含169名印度公民、53名英国公民、1名加拿大公民和7名葡萄牙公民。随后，谷歌搜索引擎的AI搜索功能被曝出现“幻觉”现象，将失事客机错误识别为“空中客车A330-243型客机”。谷歌已手动移除该错误回答，并声明将持续改进搜索系统。可能的原因是AI在汇总信息时，因新闻报道中提及“空客是波音的主要竞争对手”而产生混淆。谷歌承认AI搜索结果可能存在错误，并设有免责声明，但提示并不显眼。IT之家 🏷#谷歌#AI#空难#错误 📢频道👥群组📝投稿

#导航#耕读导航#学术#AI#谷歌#Google 分享我搭建的一个导航网站：耕读导航 简介：耕读导航 ，基于Serv00虚拟主机+WordPress+Webstack导航主题而搭建的导航网站：耕读导航 特征： 免费，只收录高质量的服务；提供了学术研究、谷歌镜像、人工智能AI、常用网址等类别的内容；力求服务稳定可靠，方便大家(如有必要，更换到VPS里用Docker部署导航服务)；导航站刚建，还需完善，如有宝贵意见，可直接向我提出，或通过私聊机器人 @igduxbot 联系我。谢谢。 耕读导航： https://igengdu.eu.org 耕读博客： https://igengdu.com 📢频道✈️ 群聊 (耕读) 📬投稿

Для челленджа "лого для компании, работающей с волшебниками" By Voodoont Dreams Gallery #Voodoont #some#illustration #арт#art#ai#cartoon#vector#logo

#脚本#QuantumultX#Loon#Surge#Shadowrocket#Stash#Crack#adapty#效率#AI ✅#AiChatbot 📱 更新版本: 1.39 👤 脚本作者: @ddm1023 🕒 更新日期: 2024-11-09 📌 脚本功能: 解锁Pro 💳 特别说明: 非一次性解锁，先开启规则，在进入软件即可！如果无效按[恢复购买]进行恢复！ ⬇️ 下载地址: 点击下载 🔗 脚本链接: 长按复制 ➡️ 一键导入: 点击导入 🔄 脚本转换: 点击传送 ✈️导航💬群组🤖投稿🎁福利