静态网站悖论
个人网站的两种不同实现方式：一种是复杂的内容管理系统（CMS），另一种是简单的静态 HTML 文件。文章指出，尽管大多数普通用户倾向于使用复杂的解决方案（如 WordPress），但实际上，只有少数专业软件工程师能够选择更简单的静态网站。
via HackerNews 2024 10 09
前两天刚好听朋友说 square space 已经涨到了近乎搞笑的 $25 月费，做不用来盈利的个人博客实在难以 justify。这篇文章中吐槽得很在点子上：
normal users are stuck with a bunch of greedy clowns that make them pay for every little thing, all while wasting ungodly amounts of computational power to render what could have been a static website in 99% of cases.
普通用户被困在了一群屁大点功能都要收费的贪婪小丑手里，与此同时浪费着人神共愤额度的算力来渲染 99% 的情况下都可以作为静态的网站。
当然原文中说的“只有少数专业软件工程师才能选择更简单的静态网站”略微夸张并不认同，因为静态站至少是比 self-host 的动态 CMS 少太多维护了。我的 backlog 里也一直躺了篇安利新手用静态站并拉踩 WP 的文，不过网上这种文已经有无数了也还是拦不住前赴后继往各种 CMS 的坑里冲的新手，觉得写了又有什么意义呢就还搁着没写。（当然迟早会像以前反复造的无数轮子一样被废话欲战胜的 but not today）
#indieblog#newletter
⚡️ Google представила Coral NPU - открытую платформу для создания умных ИИ-устройств на Эйдж девайсах
Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек.
Coral NPU - это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств.
Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением - от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно.
🧩 Врунти:
- SDK и инструменты для TensorFlow Lite и ONNX
- Компилятор, квантование и оптимизация моделей
- Поддержка Python, C++ и микроконтроллеров
Как это работает
1. Модель обучается (в TensorFlow / PyTorch).
2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR → IREE → NPU binary.
3. Код работает прямо на устройстве, используя:
- RISC-V (управляет задачами)
- Векторные блоки( выполняют параллельные операции)
- Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии.
Результат - ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако.
Edge AI получает свою открытую архитектуру от Google.
Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
@ai_machinelearning_big_data
#EdgeAI#GoogleResearch#CoralNPU#RISC_V#AIHardware
В 2023 мы с Айраной Монгуш и Давидом Дале сделали первый Тувинско-Русский ИИ переводчик — раньше Google и Яндекса. Опубликовали на конференции по машинному переводу WMT 2024.
С тех пор я думал: а если без интернета? Прямо на телефоне?
Взял Gemma3 1B, обучил на Colab, запустил на CPU. Вот скрин — живые переводы, ~500мс, без GPU.
Модель пока сырая. Иногда галлюцинирует. Но когда попадает — попадает точно. Это работающая система.
Дальше хочу добиться реального качества:
— iOS через Core ML (моя основная среда)
— 4-bit квантизация для мобильного
— Правильно организовать "трубу" (пайплан) — основная проблема
— Организовать более гибкий системный промпт (фью-шот промптинг)
— Почистить датасет и обогатить синтетически
— Сравнить несколько моделей
— Выпустить офлайн-приложение для тувинцев
💬 Что сейчас работает для low-resource MT с ~300к парами? Интересно всё — архитектуры, трюки при обучении, способы улучшить качество на маленьком датасете.
#NLP#Gemma3#iOS#CoreML#TuvanLanguage#EdgeAI#Google
✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов.
Если вы пилите приложения, это полезная штука, потому что:
- Работает на устройстве: нет задержек от удалённых серверов
- Нет расходов на API
- Дает доступ к Локальному GenAI
🔍 Основное
- LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch.
- Открытый C++ интерфейс (preview) для интеграции в кастомные решения.
- Архитектура: Engine + Session
• Engine хранит базовую модель, ресурсы - общий для всех функций
• Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений
- Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.)
- Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей
Google опенсорснули целый стек для запуска GenAI на устройствах:
- LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве.
- LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д.
- LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения.
🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/
@ai_machinelearning_big_data
#AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM
🚀 AI TRENDS | Bitcoin Mining Centralization and Edge AI Market Growth Projected
Bitcoin mining is anticipated to become increasingly centralized, according to Alex Thorn, head of Galaxy Research. According to NS3.AI, Thorn's insights suggest a shift in the mining landscape, potentially impacting the decentralization that has been a hallmark of the cryptocurrency. Meanwhile, the edge AI market is expected to experience significant growth. Grand View Research forecasts that the market will expand from approximately $25 billion in 2025 to $119 billion by 2033, indicating a trend towards more localized AI applications.
#BitcoinMining#Centralization#EdgeAI#MarketGrowth#Decentralization#AITrends#GalaxyResearch#NS3AI#GrandViewResearch#LocalizedAI#BTC