TGTGInsighttelegram intelligenceLIVE / telegram public index
Post content
帖子内容
iPhone 通过 SSD流式读取运行 400B 模型 400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行,仅占用 5.5 GB 内存,速度为 0.6 token/s。 Anemll 🌸在花频道 · 茶馆讨论 · 投稿通道
iPhone 通过 SSD流式读取运行 400B 模型 400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行,仅占用 5.5 GB 内存,速度为 0.6 token/s。 Anemll 🌸在花频道 · 茶馆讨论 · 投稿通道