InfoQ 中文· 褚杏娟·· 16 小时前AI 评分55
红帽谈企业 AI 落地难题:模型频繁换代、Token 成本与 Agent 权限治理
模型刚接进业务,CEO又要换新:红帽如何接住企业AI落地难题?
AI 导读
红帽全球副总裁兼大中华区总裁曹衡康指出,企业刚把模型接入业务,市场上就出现表现更好的新模型,CIO 面临是否重搭环境的抉择。红帽以支持 20 多个开源模型、合计 700 多个版本的平台应对模型换代,并推进 vLLM 与 llm-d 分布式推理;llm-d 于 10 月 20 日发布 1.0 版本,补齐多租户资源管理、请求优先级调度与面向 Agent 工作流的会话感知路由。
来源:InfoQ 中文 · infoq.cn