Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路线
Together AI 发布博客复盘其推理优化路线:去年构建的 megakernel 在生产中只支持一个模型、一个 batch size 和一个客户,今年改用默认 Torch Inductor 内核加 CUDA Graphs 与 PDL 即恢复 98% 的 megakernel 性能。
推荐理由:Together AI 复盘从 megakernel 转向智能体驱动编译器的过程,给出多项可迁移的实测结论与反直觉发现。