Post #203

Как запустить GPT-OSS 120B на любом ноутбуке:Tiiny AI поставил рекорд Гиннеса Ну если ваш ноут не зверина какая-то, то варианта всего 2 — облако или внешние мощности. Облаков некоторые люди как раз пытаются избежать. Причины на то в основном две: - безопасность собственных данных - свободный доступ к AI независимо от всяких подписок и интернета. Я не так давно рассказывал, как PewDiePie построил дома свой суперкомпьютер и запустил на нем модель на 120 миллиардов параметров. Для этого он собрал блок из 10 видеокарт не последней мощности. Конечно, в итоге его сетап поятнул даже больше нагрузки, но чтобы запустить модель на 120B реально нужно немало мощи. Это лишь пример. Tiiny AI Pocket Lab Теперь запустить модель на 120B можно с коробочкой размером с пауэрбанк и одним проводком! Tiiny AI Pocket Lab — это мини компьютер с убойными характеристиками: - 80 GB RAM (48 зарезервированы под AI) - 1 TB SSD - скорость инференса LLM 20-40 токенов в секунду - и самый разрыв — это энергопотребление. 120 TOPS (триллионов операций в секунду) потребляет всего 60 ватт. То есть от бытового пауэрбанка можно запитать суперкомпьютер — дожили! 😲 - весит всего 300 грамм - цена будет от 1399$. Для сравнения, возьмем последний Mac Mini на M4 Pro. Мини компьютер из сравнимой категории. В нем, конечно, меньше оперативы. Но в среднем на нем с похожей скоростью запустится только моделька примерно на 30 миллиардов параметров. А ценник будет такой же. Tiiny вживую представили на CES 2026. Его там уже потестили, и говорят, что зверюга реально работает. Причем даже не греется. Кстати, мини суперкомпьютер забацал мировой рекорд Гиннеса как самый маленький компьютер, на котором запустили 100B LLM! Особенно приятно, что компьютер сделали user friendly. Чтобы воспользоваться всей мощью железяки достаточно просто воткнуть его в ваш ноутбук/ПК, запустить нативную аппку TinyOS и начать юзать опенсорсные LLM и модельки-генераторы картинок. Причем, коробочка позволяет хранить локальный контекст и имеет долгую память. Поэтому она будет помнить все ваши разговоры в общем-то вечно (пока не переполнится). Еще один наглядный пример мощи коробочки: за 3-5 минут LLM польностью локально на Tiiny вайб-кодит игру "Змейка". А игру "Марио" — за 10 минут. Есть и SDK для профессионалов, чтобы локально разрабатывать агентов и AI native приложения. Посмотреть видосик с выставки, где берут интервью у разрабов и тестят вживую можно тут. В чем жесекрет? 🔭 Похоже, что в двух собственных разработках компании: - TurboSparce — это техника разреженной активации нейронов. То есть из 100B параметров активируются только около 10B! - PowerInfer — движок для инференса, который распределяет вычисления между CPU и dNPU (discrete Neural Processing Unit). На dNPU отправляются "горячие" (то есть наиболее часто вызываемые) вычисления. Зачем это обычному юзеру? —спросите вы 🤔 Ну представьте, не важно, где вы: в самолете, у друга, на работе. С вами в кормане всегда персональный, безопасный локальный ИИ, который запустится на ближайшем пейджере! Никакого интернета, никаких подписок (на минуточку, 25 баксов в месяц в среднем стоят современные ИИ). А уровень "интеллекта" моделек наравне с GPT-4o. Это топовая модель прошлого года. Да и с учетом тренда на уменьшение моделей — возможно сильно больше мощи уже и не понадобится. В общем, это выглядит как лучшее железо для локального ИИ в 2026! Ждем, когда релизнут в продажу. Единственное, что не понятно пока — а можно Tiiny подключить к телефону? 😏 Заместители