红帽谈企业 AI 落地难题:模型频繁换代、Token 成本与 Agent 权限治理
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
扩散智能联合创始人、首席科学家龚珊三在 InfoQ 专访中介绍,团队开源的 Clover-35B-A3B-Preview 总参数 350 亿、激活约 30 亿。
11 月 18 日,范式智能无预告发布 Phai 系列两款模型:语言模型 Phai-A1 主打快,官方称同等质量下响应速度比同参数级别模型快 8–10 倍;视频模型 Phai-M1 主打真,强调 AI 感更弱、画风细腻。
腾讯宣布开源 Hy4 flash,总参数 220B,每个 token 只激活 12B。混元团队称其为迄今最具成本效益的 Hy 模型,单任务平均成本只有 Hy4 的 1/20、DeepSeek-V4.1-Flash-1017 的 1/8。相比上一代 Hy4,该模型在结构上改了三处。
推荐理由:腾讯开源 Hy4 flash,给出 220B 总参数、12B 激活和单任务成本对比,可据此判断稀疏模型的成本取舍。
范式智能(原第四范式)首次发布自研基座模型 Phai-A1 和 Phai-M1,两款模型全链路在华为昇腾平台上完成训练。Phai-A1 面向代码开发和智能助手场景,官方称同等质量下响应速度比同参数级别模型快约 8-10 倍,单张 RTX 3090 即可运行,并具备原生百万级上下文;Phai-M1 面向真人影视场景,音画同步,约 3 分钟生成 15 秒 720P 视频。
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
Hugging Face 的 Daniel van Strien 对比了八款开源 OCR 模型,在 850 页旧自然史书籍、1771 年版《大英百科全书》及档案文件上测试,百万页 GPU 租用成本现为 65 至 130 美元。
西湖大学助理教授于开丞在访谈中表示,通用语言模型无法直接替代世界模型,因为语言模型光推理就要两三秒,机器人实时控制等不起。他2023年从自动驾驶数据成本困境切入世界模型,走隐空间路线,团队40亿参数的通用世界模型Awomo-0.5在Physics-IQ、RoboTwin-c2r、MolmoSpaces、RoboDojo Sim等六个评测榜单登顶并开源代码权重。
Daniel Stenberg 披露,AI 智能体在三周多时间里将 18.5 万行 C 代码改写为 34 万行 Rust,同期真实 curl 项目合并了 300 多个提交、修复 200 多个 bug 和若干漏洞。他指出这些 Rust 重写版本并不包含这些修复,并质疑这些克隆项目能否跟上。
一份要求让黄仁勋重新出任英伟达 CEO 的请愿在社交媒体流传,签名超过 115,000 个,包括 Elon Musk、Hugging Face 高管及 Andreessen Horowitz、Sequoia Capital 等风投人士。
NVIDIA 发布新版 Slurm,让 QPU 厂商通过一个简单文件为所有超算中心提供统一硬件接口,超算中心无需为每种量子处理器单独开发适配方案。该扩展已获 Alice & Bob、IBM、IQM、Pasqal、Quantinuum 和 MQSC 采用,支持 QRMI 与 QDMI 接口,Slurm 26.11 将于本月晚些时候发布。
Together AI 与 Ollama 联合撰文,讲解长程编码智能体负载下如何保护前缀缓存,让开源模型在长会话中保持速度。
Together AI 的 Parth Sareen 与 Zain Hasan 撰文解析长程智能体负载下的前缀缓存问题,指出智能体每轮输入长、输出短,缓存命中决定长会话的速度与成本。文章从 harness 与推理引擎两端给出做法,包括工具定义后置加载、系统提示词保持稳定、截断工具输出时说明范围、子智能体按需继承上下文,以及按前缀哈希路由请求、空闲时把缓存卸载到 CPU 内存。
Interconnects 分析认为,Nvidia CEO Jensen Huang 的卸任是美国开源模型生态的重大挫折,他此前以创始人式的大手笔资金支持开源模型,这类投入很可能随之枯竭。
ArtCraft 创始人 Brandon Thomas 在旧金山 AI Engineer Code Summit 上介绍,公司已发布 17 个开源软件版本,包括用 Rust 从零构建的 Photoshop 替代品 PhotoCraft、克隆 Acrobat 的 PdfCraft 和类 Word 的 WordCraft。
Together AI 发布 Together Compiler,一个由 AI 智能体驱动的性能优化循环,已在部分热门 serverless 端点上用于 Continuous Compilation 优化。
作者复盘自己此前"开源权重模型不会造成灾难性网络安全风险"的判断,认为GLM-5.3才是真正跨过能力门槛的模型,其权重发布一个多月后公开证据显示影响有限。他援引Epoch AI用GLM-5.3在Firefox中发现可利用漏洞的案例,指出单点漏洞需多环节配合才能造成实际危害。作者仍基本维持原判断,但承认"fine"一词低估了即将到来的软件行业被迫升级的成本与难度。
Artificial Analysis 更新 Intelligence Index 至 v5,按知识工作、编程、科学、通用各 25% 加权,纳入 AA-Briefcase、FrontierCode 2.0、Terminal-Bench 4.0、HLE-Diamond 等评测。
Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式发布,Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型,总参数约 501B、每 token 激活 23B,上下文窗口 100 万 token,面向软件工程、推理和长程智能体任务,采用 Apache 2.0 许可。
推荐理由:Reflection 首个开放权重模型 Beam 的参数规模、上下文窗口和 Apache 2.0 许可,可供判断其面向编码与长程智能体任务的定位。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并直接服务企业客户。该中心与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)共建汽车空气动力学数字孪生研究。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力,其开放权重模型可部署在客户自有基础设施上。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)改由 Mistral 模型驱动,将先服务法国和北美用户,英国和德国预计今年晚些时候跟进。