AWS Machine Learning Blog· Vinay Arora·· 2 天前AI 评分58
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
来源:AWS Machine Learning Blog · aws.amazon.com