红帽谈企业 AI 落地难题:模型频繁换代、Token 成本与 Agent 权限治理
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
一份要求让黄仁勋重新出任英伟达 CEO 的请愿在社交媒体流传,签名超过 115,000 个,包括 Elon Musk、Hugging Face 高管及 Andreessen Horowitz、Sequoia Capital 等风投人士。
ArtCraft 创始人 Brandon Thomas 在旧金山 AI Engineer Code Summit 上介绍,公司已发布 17 个开源软件版本,包括用 Rust 从零构建的 Photoshop 替代品 PhotoCraft、克隆 Acrobat 的 PdfCraft 和类 Word 的 WordCraft。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并直接服务企业客户。该中心与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)共建汽车空气动力学数字孪生研究。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力,其开放权重模型可部署在客户自有基础设施上。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)改由 Mistral 模型驱动,将先服务法国和北美用户,英国和德国预计今年晚些时候跟进。