跳到正文
Hugging Face Blog·· 2 天前AI 评分58

180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者在 32GB 内存的 MacBook M5 上,用 Transformers 为 Qwen3.8-Flash-Next 实现专家流式加载,短文本解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。

来源:Hugging Face Blog · huggingface.co