Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
NVIDIA 发布新版 Slurm,让 QPU 厂商通过一个简单文件为所有超算中心提供统一硬件接口,超算中心无需为每种量子处理器单独开发适配方案。该扩展已获 Alice & Bob、IBM、IQM、Pasqal、Quantinuum 和 MQSC 采用,支持 QRMI 与 QDMI 接口,Slurm 26.11 将于本月晚些时候发布。
Together AI 与 Ollama 联合撰文,讲解长程编码智能体负载下如何保护前缀缓存,让开源模型在长会话中保持速度。
Together AI 的 Parth Sareen 与 Zain Hasan 撰文解析长程智能体负载下的前缀缓存问题,指出智能体每轮输入长、输出短,缓存命中决定长会话的速度与成本。文章从 harness 与推理引擎两端给出做法,包括工具定义后置加载、系统提示词保持稳定、截断工具输出时说明范围、子智能体按需继承上下文,以及按前缀哈希路由请求、空闲时把缓存卸载到 CPU 内存。
Together AI 发布 Together Compiler,一个由 AI 智能体驱动的性能优化循环,已在部分热门 serverless 端点上用于 Continuous Compilation 优化。
Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式发布,Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型,总参数约 501B、每 token 激活 23B,上下文窗口 100 万 token,面向软件工程、推理和长程智能体任务,采用 Apache 2.0 许可。
推荐理由:Reflection 首个开放权重模型 Beam 的参数规模、上下文窗口和 Apache 2.0 许可,可供判断其面向编码与长程智能体任务的定位。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并直接服务企业客户。该中心与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)共建汽车空气动力学数字孪生研究。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力,其开放权重模型可部署在客户自有基础设施上。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)改由 Mistral 模型驱动,将先服务法国和北美用户,英国和德国预计今年晚些时候跟进。