DJI позавчера выпустила Mini 3 Pro — новый дрон в линейке Mini. Это модели весом до 250 граммов, чтобы их не нужно было регистрировать в большинстве стран, где дроны в принципе разрешены. Раньше в России тоже было именно такое ограничение, но потом его снизили до 150 граммов — и, кажется, сделали это именно из-за появления первой версии DJI Mini. Впрочем, я уже когда-то писал, что в России подобная проблема не стоит: регистрировать дроны легко, и делается это за 2 минуты через Госуслуги, при этом отсутствие необходимости регистрировать не спасает вас от ограничений, связанных с полётами. Дрон любого веса нельзя по закону запускать в людных местах, на высоту более 120 метров, с потерей прямой видимости, и в зонах явного ограничения (аэропорты, центральные площади столиц итд).
По сути регистрация как бы мешает только съёмкам чего-то запрещённого (когда ваш дрон могут сбить, и потом по его номеру выйти на владельца). Но у меня нет никаких сомнений, что владельцев незарегистрированных дронов при полётах над условными дачами чиновников тоже найдут, если очень нужно будет.
Так что, смысл в дроне весом 249 граммов есть только для путешествий, которые для жителей России сейчас потеряли актуальность, поэтому конкретно данный параметр особого интереса не представляет.
Что интересно, так это несколько ключевых нововведений, главное из которых: камера, способная физически поворачиваться в вертикальное положение. Увы, вертикальное видео давно и окончательно заразило человечество, эту войну мы с вами (адекватные сторонники горизонтальных видео) с треском проиграли. Думаю, дальше будет только хуже, и в кибернетическом будущем людей ждёт операция по пересадке глаз в положение один над другим.
Более позитивное нововведение — появился комплект с пультом, содержащим встроенный дисплей. Владельцы дронов знают, как утомительно каждый раз присоединять к пульту телефон, чтобы на него выводилась картинка. У DJI уже давно был в качестве отдельного товара пульт с дисплеем, но стоил он почему-то как целый дрон. Здесь же за ~$150 сверху вы получаете полное отсутствие возни с телефоном и траты его — телефона — батареи.
Ещё из мелочей: камера может смотреть вверх до 60 градусов. То есть вы можете пролететь под мостом и снять его снизу. Также добавили датчики препятствий -- раньше они были только в дорогих моделях. Впрочем, и Mini сейчас уже нельзя назвать бюджетным (от $700 за самый простой вариант). Отдельно продаётся аккумулятор увеличенной ёмкости: он поднимает вес дрона выше порога в 250 граммов, зато даёт по заявлению производителя фантастические 47 минут полёта (на деле, скорее всего, будет минут 30-35, но это очень много).
Считаю эту модель отличным вариантом универсального дрона для не слишком хардкорных пользователей. Он достаточно современный и с крутыми технологиями, обладает интересными фишками, супер компактный, но при этом не стоит, как настоящий вертолёт.
#gadgets#drone
Архитектура распределённого инференса для долгоживущих LLM-сессий
Эксплуатация современных агентских LLM уже не про «поднять контейнер на GPU и прикрутить балансер». Чтобы экономика сходилась и железо утилизировалось эффективно, нужно учитывать реальный паттерн нагрузки: долгие сессии, многошаговые диалоги, большие контексты.
Yandex AI Studio недавно выкатила обновление, в котором открыла доступ к стабильному инференсу DeepSeek V3.2. Поговорим про сам инференс и другие обновления – что там под капотом?
🟡Ключевые изменения
— Prefill / Decode Split. Prefill-ноды ускоряют прогон длинных контекстов (TTFT↓), decode-ноды стабилизируют генерацию и поддерживают низкий TBT.
— Иерархия KV-кэшей – GPU → CPU RAM → распределённый слой.
— Переиспользование KV-кешей. KV-кэши передаются между серверами прямо во время обработки запроса, в реальном времени — фактически гигабайты данных, которые нужно доставлять между GPU за очень короткое время.
— Cache-aware балансировка. Маршрутизирует запросы с учётом расположения кэшей в кластере, чтобы максимизировать Cache Hit Rate в многошаговых сессиях.
🟡Безопасность и тарификация
Появились управляемые правила модерации. Можно контролировать допустимость запросов и ответов моделей на основе политики безопасности, категорий контента и созданных словарей.
Добавили возможность по запросу подключать выделенный сетевой канал и частные эндпоинты для работы с моделями без выхода в публичный интернет.
Добавлены два новых типа токенов:
• токены инструментов — нововведение от Яндекса. Токены срабатывают при вызове встроенных тулов (File Search, Web Search, MCP, Code Interpreter). Стоят дешевле обычных входящих / исходящих;
• токены кеширования — уже отраслевой стандарт за рубежом, который только приходит на российский рынок. Часть контекста повторно используется при повторении, модель отрабатывает побыстрее, а денег тратит поменьше.
🟡Что еще рассказывают
Стек для оптимизации инференса:
• Dynamo как оркестрация/балансировка,
• MoonCake как распределённый KV-store,
• SGLang как Inference Engine.
Законтрибьютили 20+ патчей в опенсорс, чтобы довести решение до эксплуатационного качества.
@ai_machinelearning_big_data
#AI#ML#LLM#inference#DeepSeek
⚡Speculative Cascades — как ускорить работу LLM
Google Research придумали новый способ сделать большие языковые модели быстрее и дешевле.
Что это такое:
🔹Каскады
Сначала отвечает маленькая модель. Если задача слишком сложная - подключается большая. Так экономятся ресурсы, но качество может прыгать.
🔹Спекулятивная декодировка
Маленькая модель угадывает сразу несколько слов вперёд. Большая быстро проверяет данные и подтверждает. Скорость выше, но большая модель всё равно тратит много ресурсов.
🟢Speculative Cascades
Это комбинация: маленькая модель иногда отвечает полностью сама, а иногда используется как ускоритель для большой. В итоге получаем меньше затрат, больше скорости и то же качество.
🔥Что показали тесты (тестили на Gemma, T5):
- быстрее, чем обычная спекулятивная декодировка
- дешевле и качественнее, чем каскады
- удобнее настраивать баланс «скорость ↔ качество»
При том же уровне качества, что и у спекулятивной декодировки, новый метод работает быстрее (генерирует больше токенов за один вызов большой модели).
А в задачах математических рассуждений получен явный апгрейд по скорости при сохранении или даже улучшении качества.
LLM всё чаще используются в поиске, чатах, ассистентах. Чтобы они реально были полезными, их нужно ускорять и удешевлять. *Speculative cascades* помогают это сделать без потери качества.
🔗Подробнее: https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference/
@ai_machinelearning_big_data
#AI#LLM#Inference#SpeculativeDecoding#Cascades#GoogleResearch
#методы#сausal#inference#учебники#публикации
Ведущий научный сотрудник ЛССИ Борис Соколов недавно выложил в публичный доступ черновую версию своего обзора основных целевых величин (эстимандов), использующихся в статистическом каузальном анализе: АТЕ, АТТ, АТС и прочие тыквенные LATE с CATE. Хотя это ещё не полноценная статья, прошедшая рецензирование, данный текст может оказаться полезным как студентам, так и "взрослым" исследователям или прикладным аналитикам, применяющим соответствующие методы на практике - благо на русском языке литературы по теме откровенно мало.
P.S. Если вы найдёте в рукописи ошибки, неточности, упущения и т.д., или у вас будут иные идеи насчёт того, как её улучшить, можно написать напрямую автору на электронную почту - он открыт к обратной связи и конструктивной критике.
#python#deep_learning#inference#llm#nlp#pytorch#transformer
Nano-vLLM is a small, fast, and easy-to-understand tool for running large language models offline. It matches the speed of bigger systems like vLLM but uses only about 1,200 lines of clean Python code, making it simple to read and modify. It includes smart features like prefix caching and tensor parallelism to boost performance. You can install it easily and run models like Qwen3-0.6B on your own GPU. This tool is great if you want fast, efficient AI inference without complex setups, ideal for learning, research, or small deployments on limited hardware.
https://github.com/GeeeekExplorer/nano-vllm
#typescript#api_client#hub#huggingface#inference#machine_learning
Hugging Face offers JavaScript libraries that let you easily use over 100,000 AI models for tasks like text generation, image creation, translation, and more, directly in your code or browser. You can create and manage model repositories, upload files, and run AI tasks such as chat completions or text-to-image generation with simple commands. These libraries work on modern environments without extra dependencies and support multiple providers, giving you flexible access to powerful AI tools. This helps you quickly add advanced AI features to your projects without deep AI expertise or complex setup.
https://github.com/huggingface/huggingface.js
#python#deep_learning#inference#openai#quantization#speech_recognition#speech_to_text#transformer#whisper
Faster-Whisper is a fast version of OpenAI's Whisper that transcribes audio up to 4x quicker with the same accuracy, using less memory on CPU or GPU—benchmarks show it beats original Whisper (e.g., 1m03s vs 2m23s for 13-min audio on GPU). Install via `pip install faster-whisper`, no FFmpeg needed, and use simple Python code like `WhisperModel("large-v3").transcribe("audio.mp3")` for segments with timestamps. You benefit by getting quick, efficient speech-to-text for real-time apps, saving time and resources on long files or batches.
https://github.com/SYSTRAN/faster-whisper
🚀 Meta Expands AI Cloud Partnership with CoreWeave to $21 Billion
Meta has significantly expanded its AI cloud partnership with CoreWeave, increasing the agreement's value to approximately $21 billion from a previous cap of $14.2 billion. According to NS3.AI, CoreWeave will supply dedicated cloud capacity to Meta through 2032, spanning multiple locations. The expansion includes early deployments of NVIDIA's Vera Rubin platform, with a focus on inference workloads.
#Meta#AI#Cloud#CoreWeave#Partnership#NVIDIA#VeraRubin#Inference#TechNews#CloudComputing
#python#audio_generation#diffusion#image_generation#inference#model_serving#multimodal#pytorch#transformer#video_generation
vLLM-Omni is a free, open-source tool that makes serving AI models for text, images, videos, and audio fast, easy, and cheap. It builds on vLLM for top speed using smart memory tricks, overlapping tasks, and flexible resource sharing across GPUs. You get 2x higher throughput, 35% less delay, and simple setup with Hugging Face models via OpenAI API—perfect for building quick multi-modal apps like chatbots or media generators without high costs.
https://github.com/vllm-project/vllm-omni