TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #210 · 3 фев.

Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить. Есть как минимум два способа это решить правильно! 🔸 Сделать виртуальное окружение и ставить там что угодно. Это позволит создать полностью независимое исполняемое окружение для ваших приложений. Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется. Создать очень просто: python3 -m venv ~/venvs/myenvname Теперь активируем окружение # Linux source ~/venvs/myenvname/bin/activate # Windows %userprofile%\venvs\myenvname\Scripts\activate.bat Можно ставить любые библиотеки и запускать приложение. Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа! 🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете. В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера. Выполните этот код в консоли: python3 -m site Вы получите что-то такое: sys.path = [ '/home/user', '/usr/lib/python37.zip', '/usr/lib/python3.7', '/usr/lib/python3.7/lib-dynload', '/home/user/.local/lib/python3.7/site-packages', ... ] USER_BASE: '/home/user/.local' USER_SITE: '/home/user/.local/lib/python3.7/site-packages' ENABLE_USER_SITE: True Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть. Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip pip install --user requests Для этой команды не нужны root-права. После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера. Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE export PYTHONUSERBASE=~/pylibs python3 -m site ... USER_BASE: '/home/user/pylibs' USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages' Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!) 🔸 Дописывание пути в PYTHONPATH Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней. Сначала ставим библиотеку в любое место указывая путь установки pip3 install -t ~/mylibs modulename Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH. Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров. Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно. Минусы такого подхода: ▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте. ▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь. ▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы. #tricks#basic

Резултати

Пронајдени 4 слични објави

Пребарај: #gguf

当前筛选 #gguf清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8348 · 23.08.2025 г., 15:51

🐋 DeepSeek-V3.1 теперь можно запускать локально Оригинальная модель весила 715GB, но её удалось уменьшить до 170GBRAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF. ⚡ Огромная экономия памяти 👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1 👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀 @ai_machinelearning_big_data #DeepSeek#GGUF

Machinelearning

@ai_machinelearning_big_data · Post #8238 · 08.08.2025 г., 11:34

⚡️GGUF-версии GPT-OSS от Unsloth. Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса. 🟡Оптимальный сетап: 🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти. 🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ. Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее. GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT. Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini. Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM. 📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth. 🟡Набор моделей 🟡Документация @ai_machinelearning_big_data #AI#ML#GPTOSS#GGUF#Unsloth

Crypto M - Crypto News

@CryptoM · Post #65303 · 12.04.2026 г., 17:19

🚀 AI TRENDS | New Local Model Qwopus3.5-27B-v3 Released with High HumanEval Score Developer Jackrong has introduced Qwopus3.5-27B-v3, a local model designed to operate on a single consumer GPU. According to NS3.AI, this model boasts an impressive 95.73% score on HumanEval. The Qwopus3.5-27B-v3 is distilled from Claude Opus 4.6-style reasoning and is available in GGUF format for use with LM Studio or llama.cpp. #AI#Qwopus3.5 #HumanEval#Jackrong#ClaudeOpus#GGUF#LMStudio#llama_cpp#AITrends

是芙莉莲

@ireallyhatetheworld · Post #1459 · 16.03.2026 г., 13:23

Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF: 面向本地部署的轻量级创意与推理模型 🔞可用于本地涩涩等场景 • 基于 Qwen 3.5 9B,并融入 Claude Opus 4.6 蒸馏思路,主打更强的创意表达、对话表现与角色扮演场景 • 提供 GGUF 与低显存友好的 Q4_K_M 量化版本,作者反馈在 RTX 3060 12 GB 上可达约 38 tok/s,适合本地聊天、游戏 NPC 与 Home Lab 部署 • 默认关闭 thinking 以提升通用聊天体验,需要时可在 LM Studio 中手动开启;模型采用 Apache 2.0 许可证,便于社区测试与二次集成 https://www.reddit.com/r/LocalLLaMA/comments/1runlpf/qwen359bclaude46opusuncensoreddistilledgguf #AI#Uncensored#本地大模型#模型蒸馏#GGUF#Qwen#Claude#LMStudio#量化模型#低显存部署#角色扮演#LocalLLaMA