AWS Forward Deployed Engineering 扩展至 15 个国家,帮企业把 AI 从 demo 推进生产
AWS Forward Deployed Engineering(FDE)现已在美国、墨西哥、巴西等 15 个国家向商业和公共部门客户开放,并内置数十个生产就绪加速器。
AWS Forward Deployed Engineering(FDE)现已在美国、墨西哥、巴西等 15 个国家向商业和公共部门客户开放,并内置数十个生产就绪加速器。
Amazon SageMaker AI 新增 AI 数据准备能力,可通过 Python SDK API 和 AWS AI-ML agent skill 生成合成数据、评估并改进数据集,并把专家反馈纳入流程。能力包括自动标注、人工审核、合成数据生成、数据质量评估和数据转换,可单独使用或串联成从原始数据到训练的流程。这些能力已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。
Amazon SageMaker AI 为实时端点新增 KV 缓存感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。
AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类可用结构化输出的小模型或嵌入向量相似度完成,并对不确定结果做置信度升级。文章称多余模型调用会推高成本、叠加数百毫秒延迟并带来输出波动。
AWS 博客介绍 Flightscape 在生产智能体中处理 20 MB 以上 JSON 负载时采用的三种可组合策略:把大体积数据存入 S3、会话状态只保留引用,对超大列表按需分页,对超大字典做描述符压缩。
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
AWS 在 SageMaker Studio 中上线 Amazon SageMaker JumpStart Model Leaderboard,可在质量、速度和成本三个维度并排比较模型。
Airbnb 分享了在 Amazon Bedrock 上运营编码智能体的方法:上线前用自有任务评测每个模型的得分和每次任务成本,据此设定默认模型与推理强度上限,上线后用 CloudWatch 指标和网关用量记录对比生产表现。文中提到一个评测得分领先的模型上线后,用户周均花费是上一模型的数倍,原因是缓存上下文被反复读取且用户发起了更长的自主会话;换到新模型后该群体主模型花费降至约七分之一。
Salesforce 在 Amazon SageMaker AI 上部署跨区域推理路由,让 Agentforce Foundation 团队在 30+ 全球 Region 间统一调度模型请求。
LangChain 在 LangSmith 中上线面向编码智能体的成本追踪与治理方案,把 Claude Code、Codex、Cursor、GitHub Copilot Chat、Pi 和 OpenCode 的会话统一到同一套 trace 模型,用相同元数据和查询语法查看 token 用量、单会话成本、工具调用与子智能体活动。
LangSmith 推出 Alerts 功能,可基于错误率、运行延迟和反馈分数等指标设置告警,帮助在故障影响用户前发现 LLM 应用与智能体的问题。用户可对每类指标配置过滤器、5 或 15 分钟聚合窗口和阈值,并通过 PagerDuty 或自定义 webhook(如推送至 Slack)接收通知。已向 LangSmith 发送生产 trace 的用户即可配置首个告警。
LangSmith 推出面向编码智能体的花费追踪功能,把每次 trace 的花费自动归因到智能体贡献的 pull request 上,并汇总到统一的编码智能体总览页。
推荐理由:原文把编码智能体的花费与合并 PR 挂钩,并给出按模型、技能和线程长度拆解成本的具体视图。
IBM 与 Confluent 将下载量超过 5000 万的 IBM 时序基础模型以原生内置函数形式接入 Confluent,云端和本地均可使用,模型在 CPU 上运行。
NVIDIA RTX Spark 紧凑台式机开售,华硕、戴尔、微星首批推出,宏碁、技嘉、惠普的迷你主机和微软 Surface RTX Spark Dev Box 即将跟进。
推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型能力,可据此判断本地 AI 工作站的配置取舍。
LangChain 博客发布指南,讲解如何为运行 AI 生成代码的智能体选择沙箱方案。文章提出评估沙箱的五项要点:隔离文件系统、受限网络访问、资源限制、可控复用性,以及与宿主机内核级隔离。文中还引用 Simon Willison 的“致命三要素”和 Meta 的“Agents Rule of Two”,指出沙箱可降低提示词注入带来的数据泄露风险。
OpenAI 详解 Codex 沙箱机制:Codex 在你的机器上执行命令时,会按你设定的文件系统与网络限制进行约束,覆盖 macOS、Linux 和 Windows。
作者在 32GB 内存的 MacBook M5 上,用 Transformers 为 Qwen3.8-Flash-Next 实现专家流式加载,短文本解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
NVIDIA 在 SC26 推出面向研究人员和开发者的 DGX Spark HPC 开发者套件,由四台 DGX Spark 以环形直连组成集群,无需网络交换机。
NVIDIA 发布新版 Slurm,让 QPU 厂商通过一个简单文件为所有超算中心提供统一硬件接口,超算中心无需为每种量子处理器单独开发适配方案。该扩展已获 Alice & Bob、IBM、IQM、Pasqal、Quantinuum 和 MQSC 采用,支持 QRMI 与 QDMI 接口,Slurm 26.11 将于本月晚些时候发布。
NVIDIA Vera Rubin 平台首次参加 MLPerf 基准测试,在 MLPerf Training v6.1 的全部基准上均有结果,是本轮唯一覆盖所有基准的平台,其 NVL72 系统每 GPU 性能最高达 GB300 NVL72 的 2 倍。
推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和对比基线,可据此判断新一代平台的性能提升幅度。
NVIDIA 扩展 CUDA-X 库,新增 cuPhoton、cuPotential 和 cuSpa,让 AI 智能体帮助研究人员加速天体物理、材料科学与单细胞生物学等领域的发现。
Together AI 与 Ollama 联合撰文,讲解长程编码智能体负载下如何保护前缀缓存,让开源模型在长会话中保持速度。
Hugging Face 与 OpenRouter 合作,把语言模型的 Inference Providers 从自建路由器换成 OpenRouter 的路由,按实时价格、速度和可靠性为每次请求挑选提供商,失败时在同一次调用内换另一家重试。
推荐理由:原文交代了路由切换后的重试、缓存与计费变化,读者可据此判断现有调用代码是否需要调整。
Together AI 发布博客复盘其推理优化路线:去年构建的 megakernel 在生产中只支持一个模型、一个 batch size 和一个客户,今年改用默认 Torch Inductor 内核加 CUDA Graphs 与 PDL 即恢复 98% 的 megakernel 性能。
推荐理由:Together AI 复盘从 megakernel 转向智能体驱动编译器的过程,给出多项可迁移的实测结论与反直觉发现。
Together AI 介绍了其内部 agent 评测流程:把常见开发任务写成提示词,分别在无配置、接入文档 MCP、加载 skill 包三种配置下用三个模型各跑两次,由 LLM judge 判定通过、未完成或失败。
Together AI 的 Parth Sareen 与 Zain Hasan 撰文解析长程智能体负载下的前缀缓存问题,指出智能体每轮输入长、输出短,缓存命中决定长会话的速度与成本。文章从 harness 与推理引擎两端给出做法,包括工具定义后置加载、系统提示词保持稳定、截断工具输出时说明范围、子智能体按需继承上下文,以及按前缀哈希路由请求、空闲时把缓存卸载到 CPU 内存。
Google 将 Antigravity 的 /teamwork 多智能体工作流连同 /boost 等智能体开放给外部研究者和开发者,Gemini 4 Argon、Carbon、Hydrogen 可配合使用。
推荐理由:Google 公开了 /teamwork 多智能体工作流在数学证明、形式化验证与内核优化上的具体产出,并说明外部用户已可调用。
Cloudflare 在 GitHub 上以 Apache 2.0 许可证开源了 Kitesurf,这是其完全运行在 Workers 上的无状态 AI 智能体浏览器。
推荐理由:Cloudflare 把面向 AI 智能体的无状态浏览器开源,读者可据此评估自托管浏览器引擎的可行性与部署成本。
Meta 把 AOSP 的虚拟设备框架 Cuttlefish 原生移植到 Apple silicon Mac,通过恢复 QEMU 支持、让 vhost-user 可在 macOS 构建、扩展 QEMU HVF 后端内存区域槽位并接入原生 Cocoa 显示与代码签名实现。
Google 发布 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,可在 Gemini API 和 Google AI Studio 中使用。
推荐理由:原文给出了定价、延迟和校准误差等关键指标,读者可据此判断这类闭集决策接口适合放在哪些控制环节。
Meta 构建了 ML 驱动的 Intelligent Delivery 系统,在服务栈内按系统全局最优分配算力,自 2017 年至 2026 年上半年在模型与系统进步之上额外带来约 10% 的广告排序性能提升。
Meta 工程团队介绍 Facebook 的 Your algorithm 功能,用户可用自然语言在 Interested In 和 Not Interested In 两个列表中添加或移除兴趣,改动同时作用于 Feed 和 Reels。
Cursor 为 9 月推出的 Projects 功能加入多人协作,团队成员可邀请队友加入项目,与所有智能体共同规划、构建和交付。项目提供共享上下文系统,存放需求文档、图表、技术规格和设计稿,新成员加入时上下文已预先配置;共享任务看板显示各人及其智能体正在处理的任务和对应 PR。
推荐理由:原文交代了共享上下文与智能体间通信的具体机制,可据此判断团队协作型多智能体工作区的形态。
Cloudflare 发文讨论个人 AI 智能体作为中间层访问网站时,网站失去对背后用户的识别与问责能力,并提出以 Web Bot Auth、MOLE、OAuth 等开放协议保留网站与用户关系的思路。
微软研究院发布研究原型 PDD Kit,把开发者意图转成 Verus 形式化规范,证明智能体生成的代码对每个输入都满足规范,证明覆盖不到的部分则回退到测试。
Mistral 发布 Mistral Large 4(Le Chonk),并扩展企业平台 Mistral Studio,新增托管智能体、应用、工作流能力以及企业上下文、智能体可观测性和评测。
推荐理由:原文给出 Studio 新增托管智能体、工作流与可观测能力,以及客户在生产环境的部署方式,便于判断企业智能体落地路径。
Cloudflare 发布新的分析能力,在 Security Analytics 的 Bot Analysis 图表中新增 Personal Assistants 类别,并在 Top statistics 中列出访问站点的智能体及各自动请求量。
Together AI 发布 Together Compiler(TKCC),用高吞吐智能体在不到 24 小时内为不同推理负载自动生成优化,在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现最高 2.6x 的 TPS 提升。
推荐理由:原文给出 TKCC 在多个前沿开源模型上的吞吐提升与基准结果,可了解推理编译自动化的实际收益。
Together AI 发布 Together Compiler,一个由 AI 智能体驱动的性能优化循环,已在部分热门 serverless 端点上用于 Continuous Compilation 优化。
Ollama 现已支持文本转语音,首个语音模型是来自 Gradium 的 Phonon 系列小型 TTS 模型,目前可在 macOS 上使用,Windows 和 Linux 支持即将推出。
推荐理由:原文给出 Phonon 在 Ollama 上的吞吐、词错率与多语言支持,可据此判断本地语音合成的可用性。