Post #8474

🚀 Grok 2.5 теперь можно запускать локально! Unsloth выкатили оптимизированную версию модели: 🔹270B параметров работает на обычном Mac с 128GB RAM (~5 токенов/сек) 🔹 Размер уменьшен с 539GB до 118GB (–80%) 🔹 Ключевые слои модели сохранены в 8-битном формате, а все остальные сжаты с помощью динамического 3-битного GGUF. 🟢Гайд: https://docs.unsloth.ai/basics/grok-2 🟢 GGUF: https://huggingface.co/unsloth/grok-2-GGUF @ai_machinelearning_big_data #AI#xAI#Grok2#LLM#OpenSource#MachineLearning#DeepLearning