Post #2654

昨天跑着编译睡着了，今天早上看了一下，应该是没问题了，估计性能不怎么样。 50 系还比较新，主要是 cuda 版本和 torch 版本的坑，还有一些需要编译安装的（14 线程编译吃了 100G 内存，家用机编译内存不够还得限制并行度）跑了超过一个小时。 本来想做实验先用 30b 模型跑，虽然知道是铁减速但就是想验证一下试试。结果好像 kt 仓库里的配置是 235b 的，这 30b 模型做梦也没想到自己能吃 80G 内存吧（ 235b 没时间测了，等回去再试试 搞 ai 和统计的都喜欢用 conda，kt 也唯一推荐 conda venv，不过我 uv 一把梭似乎没问题，能用，就是可能得改一下脚本或者其他黑魔法把 shell 里面的 pip3 改成 uv pip，不然一直调用系统的。 cuda 必须使用 12.8，之前的版本不支持 50 系，之后的版本 torch 不支持，多版本共存的话必须指定两个环境变量（path 和 cuda_home）。torch 的 50 系支持还在 nightly 版本。这俩能搞定应该就没别的坑了。