TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #koboldcpp

当前筛选 #koboldcpp清除筛选

👥 KoboldCpp | 本地大模型一站式工具 刚开始在本地跑大模型,往往要折腾环境依赖、库文件兼容,体验极其繁琐。后来虽然有了 Ollama、llama.cpp 这类工具简化部署,但功能单一。KoboldCpp 在此基础上走得更远:既继承了 llama.cpp 的高效推理,又保持了 Ollama 式的简单易用,只需下载一个可执行文件,就能直接运行 它不仅支持 CPU/GPU 双模式,还额外集成了 图像生成、语音识别、文字转语音 等多模态 AI 功能,并且兼容 OpenAI、Ollama 等主流 API,能无缝接入现有服务。跨平台支持 Windows、macOS、Linux,真正做到了开箱即用,对想要体验多功能本地大模型的用户来说非常友好 😎小编有话说:装环境那套折磨人,这玩意儿就是“懒人直装版” 👩‍💻KoboldCpp 标签:#KoboldCpp#大模型#本地部署#llamacpp#Ollama#AI 🗓@xiuerSearch 搜索历史资源 ✈️频道 | 💬群聊 | 📱中文包