Hugging Face Blog·· 2 天前AI 评分58
180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者在 32GB 内存的 MacBook M5 上,用 Transformers 为 Qwen3.8-Flash-Next 实现专家流式加载,短文本解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
来源:Hugging Face Blog · huggingface.co