Post #1401

KTransformers团队宣布支持DeepSeek-R1和V3模型，支持在单GPU（24GBVRAM）或多GPU和382GBDRAM的环境下运行。通过优化，实现了高达3~28倍的速度提升。提供了本地运行的示例，展示了如何在桌面环境中实现类似GPT-4的性能。 测试环境： CPU：IntelXeonGold6454S（32核心/插槽，2插槽，2NUMA节点） GPU：4090D（24GBVRAM） 内存：1TBDDR5-4800服务器DRAM 性能结果： Prefill速度：最高可达97.32tokens/s Decode速度：最高可达13.69tokens/s 相比llama.cpp，Prefill速度提升高达9.44倍，Decode速度提升3.03倍。 #AI https://kvcache-ai.github.io/ktransformers/en/DeepseekR1_V3_tutorial.html