TGTGInsighttelegram intelligenceLIVE / telegram public index
← GitHub Trends

TGINSIGHT SIMILAR POSTS

Find similar content

Source channel @githubtrending · Post #15263 · Nov 2

#python#deep_learning#inference#llm#nlp#pytorch#transformer Nano-vLLM is a small, fast, and easy-to-understand tool for running large language models offline. It matches the speed of bigger systems like vLLM but uses only about 1,200 lines of clean Python code, making it simple to read and modify. It includes smart features like prefix caching and tensor parallelism to boost performance. You can install it easily and run models like Qwen3-0.6B on your own GPU. This tool is great if you want fast, efficient AI inference without complex setups, ideal for learning, research, or small deployments on limited hardware. https://github.com/GeeeekExplorer/nano-vllm

Results

1 similar post found

Search: #smallmodel

当前筛选 #smallmodel清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8975 · 11/12/2025, 01:03 PM

⭐VibeThinker-1.5B - миниатюрная модель, которая показывает SOTA-результаты в задачах рассуждения. 🚀Производительность: одна из лучших на AIME24/25 и HMMT25 - превосходит DeepSeek R1-0120 по математическим задачам и опережает модели такого же размера в соревновательном программировании. ⚡Эффективность: всего 1.5B параметров. то есть в 100–600 раз меньше, чем гиганты вроде Kimi K2 и DeepSeek R1. 💰Стоимость: полный пост-тренинг обошёлся всего в $7.8K, примерно в 30–60 раз дешевле, чем у DeepSeek R1 или MiniMax-M1. Модель основана на Spectrum-to-Signal Principle (SSP) и MGPO-фреймворке, оптимизирующих процесс рассуждения. 📦Model:https://huggingface.co/WeiboAI/VibeThinker-1.5B 💻GitHub:https://github.com/WeiboAI/VibeThinker 📄Arxiv:https://arxiv.org/abs/2511.06221 @ai_machinelearning_big_data #AI#LLM#Reasoning#OpenSource#SmallModel