咸咸湿湿

跑起来了

source

这世上还是好人多鸭.jpg 我就说这种问题 Strix Halo 用户肯定也逃不掉（x

啧 HuggingFace 那个 transformers 库对 GB10 很不友好啊。它默认会 mmap 文件，这在 RAM VRAM 互相独立的时候无所谓，但在 GB10 上会导致它最多只能载入空闲内存一半大的模型。

https://dbrand.com/shop/limited-edition/companion-cube 挖，送我！

sys��if 🤔

老黄设备里就 GB10 是统一内存空间的 毕竟 GB10 不配用 HBM

老黄官方口径是所有 Grace Blackwell 设备里就 GB10 不配使用 GDS/GDS RDMA。但实际上已经有网友确定了 cuFile 能用，RDMA 估计也能搞出来。 反正问就是老黄等级森严。

我想等 Qwen3.6 122B-A10B 出来的时候自己跑一个量化，想着在它发布之前先本地量化一个更小的模型试试看能不能跑通这个流程。 结果 35B-A3B 差不多正好比我内存一半大一点，唉老黄。

啧 HuggingFace 那个 transformers 库对 GB10 很不友好啊。它默认会 mmap 文件，这在 RAM VRAM 互相独立的时候无所谓，但在 GB10 上会导致它最多只能载入空闲内存一半大的模型。

在 GB10 上干掉 vLLM 后不会自动释放被显存占用的空间。之前一直以为是主线内核里缺东西了，想着反正也没多麻烦就直接重启了。 今天重新搜了一下，在一个奇怪网站上找到了疑似官方的 workaround：只需要 echo 3 > /proc/sys/vm/drop_caches 就行了。ber，这设计合理吗？怎么会是这个 sysctl 端点？ https://nvidia.custhelp.com/app/answers/detail/a_id/5728/~/unexpected-available…

在 GB10 上干掉 vLLM 后不会自动释放被显存占用的空间。之前一直以为是主线内核里缺东西了，想着反正也没多麻烦就直接重启了。 今天重新搜了一下，在一个奇怪网站上找到了疑似官方的 workaround：只需要 echo 3 > /proc/sys/vm/drop_caches 就行了。ber，这设计合理吗？怎么会是这个 sysctl 端点？ https://nvidia.custhelp.com/app/answers/detail/a_id/5728/~/unexpected-available-memory-reporting-on-dgx-spark