DevOps

✔️Factorio стала новым бенчмарком для ИИ. Factorio привлекла внимание ресерчеров в качестве инструмента для оценки возможностей ИИ. Игра измеряет способность языковых моделей планировать и создавать сложные системы, одновременно управляя ресурсами и производственных цепочек. Для этих целей была разработана среда Factorio Learning Environment (FLE) c двумя режимами: "Lab-Play" (24 структурированные задачи) и "Open Play", где агенты исследуют процедурно сгенерированные карты с целью построить максимально большую фабрику. В процессе тестирования модели взаимодействуют с Factorio через Python API и получают обратную связь через игровой сервер. Оцениваются параметры "Производственный показатель" и достижение ключевых "Вех". Создатели протестировали 6 LLM, включая Claude 3.5 Sonnet и GPT-4o. Результаты показали, что модели испытывают серьезные трудности с пространственным мышлением, долгосрочным планированием и исправлением ошибок. Лучшие результаты у Claude 3.5 Sonnet, которая успешно справилась с 15 из 24 задач в режиме "Lab Play". jackhopkins.github.io ✔️Американцы все чаще считают, что искусственный разум превосходит их интеллект. Исследование, проведенное Университетом Элона, выявило, что почти половина пользователей (49%) полагает, что LLM превосходят их собственный интеллект. Из отчета следует, что женщины чаще мужчин считают LLM "значительно умнее" (30% против 20%), а половина взрослого населения США уже использует языковые модели, лидирует ChatGPT с долей в 72%. Также выяснилось, что большинство пользователей (51%) применяют LLM в личных целях для обучения и планирования, в то время как для работы их используют лишь 24%. 65% пользователей взаимодействуют с ИИ-системами посредством голосовых команд. Несмотря на высокий показатель общей удовлетворенности (76%), значительная часть пользователей сталкивается с проблемами: 23% совершали серьезные ошибки из-за галлюцинаций моделей в ответах, а 21% чувствовали себя манипулируемыми. imaginingthedigitalfuture.org ✔️ReasonGraph: инструмент для анализа ризонинга LLM. ReasonGraph - опенсорсная веб-платформа, разработанная Кембриджским университетом, для визуализации и анализа процессов рассуждений LLM. Она поддерживает как последовательные, так и древовидные методы рассуждений, легко интегрируясь с основными провайдерами LLM и более чем 50 языковыми моделями. Платформа построена на модульном каркасе и имеет выбор метода мета-рассуждения и настраиваемые параметры визуализации. ReasonGraph улучшает обнаружение ошибок в логических процессах и способствует более эффективной разработке приложений на основе LLM. Оценка платформы показала практически 100% точность rule-based XML-парсинга при извлечении и визуализации путей рассуждений. Репозиторий проекта на Github. Демо на HuggingFace. arxiv.org ✔️MEGA mini: концепт архитектуры для универсальных NPU. На конференции по твердотельным схемам (ISSCC) была представлена архитектура MEGA.mini, позиционируемая как универсальный процессор для генеративного ИИ. MEGA.mini использует парадигму Arm big.LITTLE и предлагает использование двухъядерной концепции в NPU. Предполагается, что высокомощные ядра "Mega" будут задействоваться для выполнения ресурсоемких задач, а облегченные ядра "Mini" будут использоваться для рутинных операций. Архитектура разрабатывается как универсальный процессор, в отличие от CPU, чтобы разработчики могли применять его в разных сценариях - от NLP-задач до мультимодальных ИИ-систем. techradar.com ✔️Deepseek R1 671B запустили локально на новом Mac Ultra M3. YouTube-блогер Дейв Ли провел эксперимент по локальному запуску 4-bit версии Deepseek R1 с 671B параметров. Она может работать локально, но требует 512 ГБ RAM, 404 ГБ хранилища и принудительного выделения 448 ГБ видеопамяти через терминал. Несмотря на незначительное снижение точности, скорость инференса составила 17-18 токенов в секунду, при этом энергопотребление находилось в пределах 200 Вт. Для сравнения: ПК с аналогичной производительностью потребовал бы в 10 раз больше электричества. macrumors.com @ai_machinelearning_big_data #news#ai#ml

🌟 EuroBERT: энкодеры нового поколения. Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский. EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи. В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач. Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%. ▶️Состав релиза: 🟢EuroBERT-210М 🟢EuroBERT-610М 🟢EuroBERT-2.1В ⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0 ⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2 ▶️ Пример инференса: from transformers import AutoTokenizer, AutoModelForMaskedLM model_id = "EuroBERT/EuroBERT-210m" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True) text = "The capital of France is <|mask|>." inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # To get predictions for the mask: masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id) predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1) predicted_token = tokenizer.decode(predicted_token_id) print("Predicted token:", predicted_token) # Predicted token: Paris 📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Коллекция на HF 🟡Arxiv 🖥GitHub (Скоро) @ai_machinelearning_big_data #AI#ML#Encoder#EuroBERT

✔️NVIDIA представила доступный "суперкомпьютер" для GenAI. NVIDIA анонсировала Jetson Orin Nano Super Developer Kit, который предлагает повышенную производительность по сниженной цене. Цена устройства была снижена с 499 до 249 долларов США. Комплект предоставляет возможности в области генеративного ИИ и повышения производительности как коммерческим разработчикам ИИ, так и энтузиастам. Jetson Orin Nano Super обещает 1,7-кратное увеличение производительности, достигая 67 INT8 TOPS, и 50-процентное увеличение пропускной способности памяти до 102 ГБ/с. Комплект разработчика состоит из системного модуля Jetson Orin Nano 8GB (SoM) и эталонной несущей платы. SoM включает в себя GPU на архитектуре NVIDIA Ampere с тензорными ядрами и 6-ядерный процессор Arm. blogs.nvidia.com ✔️Google DeepMind FACTS Grounding: бенчмарк для оценки фактологичности LLM. FACTS Grounding создан для оценки способности LLM генерировать ответы, которые являются фактически точными и основаны на предоставленном исходном материале. Бенчмарк включает в себя 1719 примеров, требующих развернутых ответов, основанных на предоставленном контекстном документе. Примеры включают различные области: финансы, технологии, розничную торговлю, медицину и право, и документы объемом до 32 000 токенов. Для оценки используются три LLM-судьи: Gemini 1.5 Pro, GPT-4o и Claude 3.5 Sonnet, которые оценивают ответы на соответствие пользовательскому запросу и фактическую точность. Датасет и лидерборд доступны на Kaggle. deepmind.google ✔️Grammarly приобретает Coda и назначает нового CEO для создания платформы продуктивности c ИИ. Компания Grammarly объявила о намерении приобрести платформу Coda, специализирующуюся на инструментах для повышения продуктивности. Генеральный директор и соучредитель Coda, Шишир Мехротра, станет новым CEO Grammarly. Это приобретение направлено на трансформацию Grammarly из простого ассистента в полноценную ИИ-платформу продуктивности для приложений и агентов. Интеграция Coda Brain позволит Grammarly сделать своего ИИ-помощника более умным, контекстуально осведомленным и способным подключаться к различным системам и приложениям. Grammarly планирует объединить своего ассистента с Coda Docs, чтобы обеспечить пользователям платформу для работы с ИИ от начала и до конца. businesswire.com ✔️OpenAI анонсировала API o1, но для избранных разработчиков. OpenAI начала предоставлять модель o1, способную к "рассуждению", через API, но пока только для разработчиков, входящих в категорию использования "tier 5". Для квалификации в эту категорию, разработчики должны потратить не менее 1000 долларов с OpenAI и иметь аккаунт старше 30 дней с момента первого успешного платежа. Модель o1 заменяет предыдущую модель o1-preview и способна проверять факты. Использование o1 стоит значительно дороже — 15 долларов за ~750 000 input-токенов и 60 долларов за ~750 000 output, что в 6 раз дороже, чем GPT-4o. O1 в API более настраиваемая благодаря новым функциям^ вызов функций, сообщения разработчика и анализ изображений. OpenAI также выпустила новые версии моделей GPT-4o и GPT-4o mini в рамках Realtime API, предназначенного для приложений с низкой задержкой голосового ответа, с улучшенной эффективностью данных и надежностью. openai.com ✔️Предполагается выпуск 24 ГБ версии видеокарты Intel Arc B580 для профессиональных задач. Согласно транспортной накладной, обнаруженной пользователем X Томашем Гавронским, Intel, возможно, готовит к выпуску версию своей видеокарты Arc B580 с 24 ГБ видеопамяти. Эта карта, известная как Battlemage G21, может быть оснащена памятью GDDR6, подключенной в "раскладном" режиме (clamshell), который позволяет удвоить объем видеопамяти. Возможно, 24 ГБ версия B580 будет предназначена для партнеров Intel, занимающихся ИИ и центрами обработки данных. pcgamer.com @ai_machinelearning_big_data #news#ai#ml

✔️Уязвимости в инструментах машинного обучения. Уязвимости, обнаруженные компанией JFrog в популярных инструментах машинного обучения с открытым исходным кодом: MLflow, H2O, PyTorch и MLeap, позволяют злоумышленникам использовать клиентские библиотеки машинного обучения, которые работают с Safetensors. Взлом клиента машинного обучения позволяет получить доступ к учетным данным реестра моделей и внедрить вредоносный код. Среди обнаруженных уязвимостей - недостаточная санитизация в MLflow (CVE-2024-27132), небезопасная десериализация в H2O (CVE-2024-6960), проблема с обходом пути в PyTorch и уязвимость Zip Slip в MLeap (CVE-2023-5245). thehackernews.com ✔️OPENAI представили reinforcement finetuning для o1 (RFT). Этот метод отличается от обычного файнтюнинга (или файнтюнинга с учителем) тем, что он позволяет обучать модель думать определённым образом в конкретной области, важной для пользователя. Подробнее ✔️Apple планирует изменить конструкцию памяти iPhone для повышения производительности ИИ. Компания планирует внедрить дискретную упаковку памяти в iPhone, начиная с 2026 года, чтобы повысить производительность ИИ на устройстве. Samsung, поставщик компонентов памяти Apple, уже начал проводить исследования, чтобы удовлетворить запрос Apple. Сейчас iPhone использует упаковку типа «пакет-на-пакете» (PoP), где DRAM LPDDR размещается непосредственно на "системе-на-кристалле" (SoC). Переход на дискретную упаковку позволит увеличить количество контактов ввода-вывода, повышая скорость передачи данных и количество параллельных каналов данных. Это улучшит пропускную способность памяти и возможности ИИ и также улучшает теплоотвод. Однако это изменение может потребовать уменьшения размера SoC или аккумулятора, а также увеличить энергопотребление и задержку. macrumors.com ✔️Google DeepMind представит более 100 научных работ на NeurIPS 2024. Google DeepMind примет участие в 38-й ежегодной конференции по нейронным системам обработки информации (NeurIPS), которая пройдет с 10 по 15 декабря в Ванкувере, где представит более 100 новых научных работ по темам: агенты ИИ, генеративные медиа, инновационные подходы к обучению. В рамках конференции запланированы живые демонстрации Gemma Scope, ИИ для создания музыки, модели прогнозирования погоды, системы CAT3D и Android Control. deepmind.google ✔️PlayerUnknown представил 2 новые игры, основанные на машинном обучении. Разработчик PlayerUnknown анонсировал две новые игры, основанные на технологиях Ai и ML: Preface: Undiscovered World и Prologue: Go Wayback. Preface: Undiscovered World доступна в раннем доступе в Steam и представляет собой техническую демонстрацию процедурно генерируемых миров. Prologue: Go Wayback – это "выживалка", в которой погода и окружающая среда непосредственно влияют на исследование мира игроком. Обе игры служат «строительными блоками» для будущих проектов PlayerUnknown Productions и предназначены для сбора отзывов пользователей. dualshockers.com ✔️Китай представил сверхпроводящий чип с 504 кубитами. Китай представил свой самый передовой квантовый компьютер «Tianyan-504» с 504-кубитным чипом «Xiaohong», разработанным в партнерстве с Китайской академией наук и компанией QuantumCTek. «Tianyan-504» устанавливает новый национальный рекорд, преодолевая порог в 500 кубитов, и конкурирует с IBM, по показателям производительности, времени жизни кубита и точности считывания. «Tianyan-504» будет интегрирован с квантовой облачной платформой China Telecom «Tianyan», запущенной в 2023 году, чтобы обеспечить глобальный доступ к возможностям квантовых вычислений. Платформа «Tianyan» уже привлекла более 12 миллионов посещений пользователей из более чем 50 стран. thequantuminsider.com @ai_machinelearning_big_data #news#ai#ml

🌟 Marco-o1: модель рассуждений от Alibaba. Marco-o1 – LLM, файнтюн-версия Qwen2-7B-Instruct для решения сложных задач, требующих рассуждений. В создании модели использовались методики Chain-of-Thought (CoT), поиска по дереву Монте-Карло (MCTS) и уникальные стратегии регулирования действий при рассуждении. Marco-o1 обучалась на 3 датасетах: отфильтрованный набор данных Open-O1 CoT, синтетический набор Marco-o1 CoT и собственный набор инструкций Marco. В модели реализованы 2 стратегии действий: "шаг как действие" и "мини-шаг как действие" (32 или 64 токена соответственно). Мини-шаг как действие обеспечивает более детальное исследование пространства решений. В Marco-o1 был внедрен механизм рефлексии, который побуждает модель переосмысливать свои рассуждения, что улучшает результаты инференса, особенно в сложных составных задачах. Модель оценивалась на наборах данных MGSM (английский и китайский). Результаты показали, что Marco-o1 превосходит Qwen2-7B-Instruct и демонстрирует улучшение точности на 6,17% для английского набора данных и 5,60% для китайского. Модель превзошла Google Translate в задачах языкового перевода, особенно при переводе разговорных выражений. В ближайших планах: 🟠Обучаются версии модели вознаграждения за результат (ORM) и вознаграждения за процесс (PRM). 🟠Reinforcement Learning: обучение с подкреплением для совершенствования рассуждений. ▶️Установка и локальный инференс: # Clone the repository git clone https://github.com/AIDC-AI/Marco-o1 # Change to the Macaw-LLM directory cd Marco-o1 # Install required packages pip install -r requirements.txt # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("AIDC-AI/Marco-o1") model = AutoModelForCausalLM.from_pretrained("AIDC-AI/Marco-o1") # Run Inference ./src/talk_with_model.py 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Версии GGUF 🟡Arxiv 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#CoT#Alibaba#MarcoO1

✔ Бесплатные видео и онлайн-материалы из более чем 2400 курсов MIT, одного из лучших вузов мира Включая вводные курсы по #ComputerScience, #AI, #algorithms и многое другое! ocw.mit.edu/search/ @DevOPSitsec

Создавать системы машинного обучения сложно. Вот 30 требований к среде #MLOps. #BigData#DataScience#AI#DataScientists#ML @DevOPSitsec