Post #34

🚀 Jetson Orin Nano (15W Power Mode)da LLaMA 3.2 ishlashi Ollama LLaMA 3.2 modelini Jetson Orin Nano**da **15W quvvat rejimi**da sinab ko‘rdim, natijalar quyidagicha: 🔹 **Model yuklanish vaqti: ~200ms 🔹Token baholash tezligi: ~1.81 token/s (boshlang‘ich so‘rov) 🔹Matn generatsiya tezligi: ~12-14 token/s 🔹Javob shakllanish vaqti: ~25-30s ✅Muvaffaqiyatli ishlaydi, ammo kechikish sezilarli. Quvvat rejimini oshirish natijalarni yaxshilashi mumkin. Yengil inference uchun mos, ammo real vaqtda ishlashga unchalik mos emas. 💡Optimallashtirish variantlari: - TensorRT bilan tezlashtirish 🏎 - Samaradorlik uchun kvantizatsiya 📉 - Yuqori quvvat rejimi bilan yaxshiroq natija ⚡️ - Ko‘p so‘rovlarni parallel qayta ishlash 📊 Bizni kuzatib boring. Qiziqarlilari hali oldinda!