iPhone 通过 SSD 流式读取运行 400B 模型400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行，仅占用 5.5 GB 内存，速度为 0.6 token/s

iPhone 通过 SSD 流式读取运行 400B 模型

400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行，仅占用 5.5 GB 内存，速度为 0.6 token/s。

Anemll

🌸 在花频道 · 茶馆讨论 · 投稿通道

来自频道: @zaihuapd

Loading comments...