红帽谈企业 AI 落地难题:模型频繁换代、Token 成本与 Agent 权限治理
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
11 月 18 日,范式智能无预告发布 Phai 系列两款模型:语言模型 Phai-A1 主打快,官方称同等质量下响应速度比同参数级别模型快 8–10 倍;视频模型 Phai-M1 主打真,强调 AI 感更弱、画风细腻。
黄仁勋辞任与复职传闻反复之际,深圳GPU采购商表示已不敢订期货,国内英伟达高端GPU渠道持续收窄。报道称单台B300国内现货价已炒至约2200万元,海外转运与租算力两条路分别受海关查扣和1200万TPP许可门槛限制。受访者认为国产GPU短期难接住需求,训练端仍依赖英伟达,推理端则受HBM成本制约。
即梦 Seedance 2.5 推出 4K 版本,把最长 30 秒单次生成、全模态参考、视频编辑与延长等能力提升到 4K 画质规格。4K 模式支持 10bit BT.709 色彩格式和六种画幅输出,作者在品牌 TVC、电商素材、影视预演和线下大屏四类场景中做了实测。文章还提到 Seedream 5.5、Seedance 2.5 Flash 以及面向企业团队的即梦企业解决方案。
Anthropic 在 IPO 路演幻灯片中称,Claude Mythos Preview 用约三天完成让自家模型在 AMD MI355X 上跑到可用性能水平的软件工作,几乎不需要人插手,而这类工作过去要花 6 到 12 个月。该说法只覆盖单个模型在 MI355X 上的性能达标,具体细节未在摘要中展开。
RunningHub 全球 AIGC 长片创作大赛收官,共征集 1500 多部作品,长剧和电影级长片占比超八成,20 多部时长超过 60 分钟。获奖作品均跑在 RunningHub 的 AI 影视工业管线上,包括支持 10 万字剧本解析的 RHTV 剧本工坊、云端 Blender 的 RHTV 云片场和无限画布等能力。
Snowflake 宣布推出 Business Ontology 并即将开启公开预览,为团队提供受治理的方式定义、审批共用业务术语、实体、关联关系与指标,并映射到承载这些定义的数据和模型。
腾讯轻量云专家江露在 AICon 北京站分享中介绍了 LoopForge 的云端 Loop 实践:用 DAG 定义的可执行 SOP 约束多 Agent 协作,由程序负责状态流转与交接,Agent 只在节点内完成分析、设计和实现。团队将评审与测试角色同实现角色隔离,并建立五道质量门禁,强调“独立的预期 + 可复现的运行事实”。她认为只有合入并通过验收才算真正完成交付。
Linearbytes 发布开源 Playwright 库 Bug0 QA Agent,让开发者在标准 Playwright 规范中用纯英文写声明式测试步骤,由代理首次执行后把单操作步骤编译为具体浏览器操作并缓存到 Redis,后续运行直接重放以省去 LLM 推理延迟。
Tiger Data 发布开源 PostgreSQL 扩展 pg_vectorsearch,目前处于 Alpha 阶段,其 PRISM 索引用数据分区和压缩替代 pgvector 的 HNSW 图方法。
腾讯混元发布轻量模型 Hy4 flash,上线首日 Token 调用量突破 50 万亿,登顶 OpenRouter LLM 日排行榜。该模型总参数 224B、激活参数 12B,支持多模态和 1M 上下文,每百万 Token 输入 0.5 元、输出 2 元,单任务成本 0.26 元。
推荐理由:从价格、参数到架构与推理优化,原文给出了 Hy4 flash 压低单任务成本的完整路径,可对照理解轻量模型的降本方式。
AWS Forward Deployed Engineering(FDE)现已在美国、墨西哥、巴西等 15 个国家向商业和公共部门客户开放,并内置数十个生产就绪加速器。
Amazon SageMaker AI 新增 AI 数据准备能力,可通过 Python SDK API 和 AWS AI-ML agent skill 生成合成数据、评估并改进数据集,并把专家反馈纳入流程。能力包括自动标注、人工审核、合成数据生成、数据质量评估和数据转换,可单独使用或串联成从原始数据到训练的流程。这些能力已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。
Amazon SageMaker AI 为实时端点新增 KV 缓存感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。
AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类可用结构化输出的小模型或嵌入向量相似度完成,并对不确定结果做置信度升级。文章称多余模型调用会推高成本、叠加数百毫秒延迟并带来输出波动。
AWS 博客介绍 Flightscape 在生产智能体中处理 20 MB 以上 JSON 负载时采用的三种可组合策略:把大体积数据存入 S3、会话状态只保留引用,对超大列表按需分页,对超大字典做描述符压缩。
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
Nvidia 在季度 CFO 评论中澄清,贷款担保并不等于公司自己提供融资,只有在客户已筹到建设数据中心并安装 Nvidia 产品的资金后担保才生效,项目若延期或遇阻担保即不存在。
Snapchat 宣布推出 Easy Lens CLI,让 Lens 创作者用 Claude Code、Cursor、Codex 等 AI 编码助手构建 AR Lens。
Perplexity 正式推出 Decider v1.3,把 AI 系统中的判断能力单独做成一套模型,同一份上下文只需一次前向传播即可输出多个问题的答案概率。v1.3 重新设计了 Attention 机制,让共享状态读取全部问题、问题之间不直接交换信息,并加入 Locate 能力按字段描述定位原文跨度。
macOS 27.3 Beta 2 调整隐私授权,完全磁盘访问权限新增仅授权特定受保护文件夹的选项,设备控制和数据访问拆分为辅助功能与绕过系统及应用保护两项。使用后者控制其他应用时,菜单栏会常驻蓝色透明度指示器,用户可限定具体目标程序并设为每次询问或随时允许。文章认为新机制给了用户更大权限收放余地,但确认流程繁琐、指示器功能有限,测试版中与 Safari 及 WebKit 交互等场景仍有问题。
Nutrient(原 PSPDFKit)推出 Data Extraction API,可将 PDF、扫描件、图片和 Office 文件解析为空间 JSON 或 Markdown,并按用户 JSON Schema 提取字段,每个值附带边界框、匹配标签和置信度分数。
AWS 在 SageMaker Studio 中上线 Amazon SageMaker JumpStart Model Leaderboard,可在质量、速度和成本三个维度并排比较模型。
Airbnb 分享了在 Amazon Bedrock 上运营编码智能体的方法:上线前用自有任务评测每个模型的得分和每次任务成本,据此设定默认模型与推理强度上限,上线后用 CloudWatch 指标和网关用量记录对比生产表现。文中提到一个评测得分领先的模型上线后,用户周均花费是上一模型的数倍,原因是缓存上下文被反复读取且用户发起了更长的自主会话;换到新模型后该群体主模型花费降至约七分之一。
Salesforce 在 Amazon SageMaker AI 上部署跨区域推理路由,让 Agentforce Foundation 团队在 30+ 全球 Region 间统一调度模型请求。
LangChain 在 LangSmith 中上线面向编码智能体的成本追踪与治理方案,把 Claude Code、Codex、Cursor、GitHub Copilot Chat、Pi 和 OpenCode 的会话统一到同一套 trace 模型,用相同元数据和查询语法查看 token 用量、单会话成本、工具调用与子智能体活动。
LangSmith 推出 Alerts 功能,可基于错误率、运行延迟和反馈分数等指标设置告警,帮助在故障影响用户前发现 LLM 应用与智能体的问题。用户可对每类指标配置过滤器、5 或 15 分钟聚合窗口和阈值,并通过 PagerDuty 或自定义 webhook(如推送至 Slack)接收通知。已向 LangSmith 发送生产 trace 的用户即可配置首个告警。
LangSmith 推出面向编码智能体的花费追踪功能,把每次 trace 的花费自动归因到智能体贡献的 pull request 上,并汇总到统一的编码智能体总览页。
推荐理由:原文把编码智能体的花费与合并 PR 挂钩,并给出按模型、技能和线程长度拆解成本的具体视图。
IBM 与 Confluent 将下载量超过 5000 万的 IBM 时序基础模型以原生内置函数形式接入 Confluent,云端和本地均可使用,模型在 CPU 上运行。
Mistral 为 AI 智能体 Vibe(原 Le Chat)推出桌面应用,用户可同时下发多个任务并观看智能体并行执行。
NVIDIA RTX Spark 紧凑台式机开售,华硕、戴尔、微星首批推出,宏碁、技嘉、惠普的迷你主机和微软 Surface RTX Spark Dev Box 即将跟进。
推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型能力,可据此判断本地 AI 工作站的配置取舍。
LangChain 博客发布指南,讲解如何为运行 AI 生成代码的智能体选择沙箱方案。文章提出评估沙箱的五项要点:隔离文件系统、受限网络访问、资源限制、可控复用性,以及与宿主机内核级隔离。文中还引用 Simon Willison 的“致命三要素”和 Meta 的“Agents Rule of Two”,指出沙箱可降低提示词注入带来的数据泄露风险。
OpenAI 详解 Codex 沙箱机制:Codex 在你的机器上执行命令时,会按你设定的文件系统与网络限制进行约束,覆盖 macOS、Linux 和 Windows。
作者在 32GB 内存的 MacBook M5 上,用 Transformers 为 Qwen3.8-Flash-Next 实现专家流式加载,短文本解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
Simon Willison 与 AI 研究实验室 Prime Radiant 合作,提出外部沙箱模式:智能体执行的代码运行在独立沙箱中,智能体本身留在沙箱之外,以便更安全地试用本地模型、降低错误或提示词注入造成破坏的风险。
Datasette Lite 发布基于 Service Worker 的完整重写版,在浏览器内运行 Datasette Python 应用,效果已接近真实服务端版本。
Cloudflare 在 AI Engineer Code Summit 上自称“neolab”,并已推出 Clef 和 Clairic 两款 System One 模型。
NVIDIA 在 SC26 推出面向研究人员和开发者的 DGX Spark HPC 开发者套件,由四台 DGX Spark 以环形直连组成集群,无需网络交换机。
NVIDIA 发布新版 Slurm,让 QPU 厂商通过一个简单文件为所有超算中心提供统一硬件接口,超算中心无需为每种量子处理器单独开发适配方案。该扩展已获 Alice & Bob、IBM、IQM、Pasqal、Quantinuum 和 MQSC 采用,支持 QRMI 与 QDMI 接口,Slurm 26.11 将于本月晚些时候发布。
NVIDIA Vera Rubin 平台首次参加 MLPerf 基准测试,在 MLPerf Training v6.1 的全部基准上均有结果,是本轮唯一覆盖所有基准的平台,其 NVL72 系统每 GPU 性能最高达 GB300 NVL72 的 2 倍。
推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和对比基线,可据此判断新一代平台的性能提升幅度。