跳到正文
Together AI 博客·· 4 天前精选AI 评分67

Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路线

Last year we built megakernels. This year we deleted them: The road to Together Compiler

AI 导读

Together AI 发布博客复盘其推理优化路线:去年构建的 megakernel 在生产中只支持一个模型、一个 batch size 和一个客户,今年改用默认 Torch Inductor 内核加 CUDA Graphs 与 PDL 即恢复 98% 的 megakernel 性能。

推荐理由

Together AI 复盘从 megakernel 转向智能体驱动编译器的过程,给出多项可迁移的实测结论与反直觉发现。

来源:Together AI 博客 · together.ai