#python#deep_learning#inference#llm#nlp#pytorch#transformer
Nano-vLLM is a small, fast, and easy-to-understand tool for running large language models offline. It matches the speed of bigger systems like vLLM but uses only about 1,200 lines of clean Python code, making it simple to read and modify. It includes smart features like prefix caching and tensor parallelism to boost performance. You can install it easily and run models like Qwen3-0.6B on your own GPU. This tool is great if you want fast, efficient AI inference without complex setups, ideal for learning, research, or small deployments on limited hardware.
https://github.com/GeeeekExplorer/nano-vllm
Андроид Клавиатура в Системе.
Сделал некоторое исследование кодовой базы и обнаружил, что Узбекская клава сделана хорошо и сделал по аналогии Тувинскую клаву.
Мне подогнали сервер на 500GB и с хорошей оперативкой. Там собираю мини-приложение для клавиатуры с Тувинским языком – спасибо Vitaly Pronin.
Сложно в этом разбираться без нормальных гайдов или подсказок – много чего ломается, не сочетается.
Сделал несколько версий и они не работают на симуляторе. Сейчас идет сборка оптимальной версии для arm64. Много часов все это происходит и в итоге окажется, что чего-то не учел. Хорошо, что пока собирается, можно другими делами позаниматься.
Несколько недель пытаюсь в этом разобраться :)
Как будет успех, я сделаю гайд для всех. Будем вносить правки в Андроид ОС.
#android#keyboard
#FUTO#Keyboard Updates: The Swipe Dataset is Public!
https://peertube.futo.org/videos/watch/44d2e41a-307b-49ab-9a14-1e2e1eaa9a94
You can access the dataset here: https://huggingface.co/datasets/futo-org/swipe.futo.org
More info about FUTO Keyboard
https://t.me/Libreware/1299
You can learn more about FUTO here: https://futo.org