如何降低生成式 AI 成本:用代码处理规则,用模型处理判断
AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类可用结构化输出的小模型或嵌入向量相似度完成,并对不确定结果做置信度升级。文章称多余模型调用会推高成本、叠加数百毫秒延迟并带来输出波动。
AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类可用结构化输出的小模型或嵌入向量相似度完成,并对不确定结果做置信度升级。文章称多余模型调用会推高成本、叠加数百毫秒延迟并带来输出波动。
AWS 博客介绍 Flightscape 在生产智能体中处理 20 MB 以上 JSON 负载时采用的三种可组合策略:把大体积数据存入 S3、会话状态只保留引用,对超大列表按需分页,对超大字典做描述符压缩。
Airbnb 分享了在 Amazon Bedrock 上运营编码智能体的方法:上线前用自有任务评测每个模型的得分和每次任务成本,据此设定默认模型与推理强度上限,上线后用 CloudWatch 指标和网关用量记录对比生产表现。文中提到一个评测得分领先的模型上线后,用户周均花费是上一模型的数倍,原因是缓存上下文被反复读取且用户发起了更长的自主会话;换到新模型后该群体主模型花费降至约七分之一。
Salesforce 在 Amazon SageMaker AI 上部署跨区域推理路由,让 Agentforce Foundation 团队在 30+ 全球 Region 间统一调度模型请求。
Meta 介绍其用 AI 智能体在广告排序模型群中传播已验证 ML 技术的做法,自 2026 年 3 月由智能体驱动执行以来,估计超过 60% 的技术传播工作由智能体完成。早期结果显示工程效率提升 3 倍,部分技术-模型组合的训练算力中位数降低 4 倍,预计到年底节省 4500 万美元以上算力。文章拆解了发现、泛化、采用三个阶段中智能体的分工,以及按阶段设置的评估指标。
推荐理由:Meta 披露智能体接管技术传播后的人力与算力账本,可对照自身模型迭代流程评估自动化边界。
LangChain 博客发布指南,讲解如何为运行 AI 生成代码的智能体选择沙箱方案。文章提出评估沙箱的五项要点:隔离文件系统、受限网络访问、资源限制、可控复用性,以及与宿主机内核级隔离。文中还引用 Simon Willison 的“致命三要素”和 Meta 的“Agents Rule of Two”,指出沙箱可降低提示词注入带来的数据泄露风险。
作者在 32GB 内存的 MacBook M5 上,用 Transformers 为 Qwen3.8-Flash-Next 实现专家流式加载,短文本解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
Together AI 与 Ollama 联合撰文,讲解长程编码智能体负载下如何保护前缀缓存,让开源模型在长会话中保持速度。
Together AI 发布博客复盘其推理优化路线:去年构建的 megakernel 在生产中只支持一个模型、一个 batch size 和一个客户,今年改用默认 Torch Inductor 内核加 CUDA Graphs 与 PDL 即恢复 98% 的 megakernel 性能。
推荐理由:Together AI 复盘从 megakernel 转向智能体驱动编译器的过程,给出多项可迁移的实测结论与反直觉发现。
Together AI 介绍了其内部 agent 评测流程:把常见开发任务写成提示词,分别在无配置、接入文档 MCP、加载 skill 包三种配置下用三个模型各跑两次,由 LLM judge 判定通过、未完成或失败。
Together AI 的 Parth Sareen 与 Zain Hasan 撰文解析长程智能体负载下的前缀缓存问题,指出智能体每轮输入长、输出短,缓存命中决定长会话的速度与成本。文章从 harness 与推理引擎两端给出做法,包括工具定义后置加载、系统提示词保持稳定、截断工具输出时说明范围、子智能体按需继承上下文,以及按前缀哈希路由请求、空闲时把缓存卸载到 CPU 内存。
Meta 把 AOSP 的虚拟设备框架 Cuttlefish 原生移植到 Apple silicon Mac,通过恢复 QEMU 支持、让 vhost-user 可在 macOS 构建、扩展 QEMU HVF 后端内存区域槽位并接入原生 Cocoa 显示与代码签名实现。
GitHub 发布 agent skills 实践指南,介绍如何用 SKILL.md 目录封装可复用任务指令,并在不同智能体间共享。
Meta 构建了 ML 驱动的 Intelligent Delivery 系统,在服务栈内按系统全局最优分配算力,自 2017 年至 2026 年上半年在模型与系统进步之上额外带来约 10% 的广告排序性能提升。
Anthropic 发布工程研究,把智能体记忆拆成会话内写笔记、离线 dreaming 整理、记忆层级提升等组件,并用 CL-Bench 1.0、Pokémon Red、Harvey LAB 等评测检验各组件的作用。
推荐理由:Anthropic 公开了智能体记忆的组件划分与多组评测,读者可看到 dreaming 在纠错和构建 wiki 上的具体收益与边界。
Navan 借助 Cursor 云端智能体,将涉及 8 个应用和 15 个库的 Spring Boot 4 迁移从两年前的一个多月压缩到约一周,且未冻结代码库。智能体在 Navan 自托管机器上并行执行迁移,并启动浏览器自行验证更改。目前 Navan 约有 200 人使用 Cursor 云端智能体,较 2026 年 4 月增长 10 倍。
GitHub 为密钥扫描训练了专用 ModernBERT 分类器,替代此前基于 LLM 的流水线,用户对告警的接受率提升 11.5%,推送后扫描中位执行时间缩短 86%,服务成本降低逾 98%。该方案先用正则表达式高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭据,从而过滤占位符、测试样例和校验和等误报。效率提升也让通用密钥检测得以扩展到推送保护阶段,在代码提交前返回结果。
Anthropic 介绍其自研版本控制系统 Scion,并在五个月内把单体仓库从 git 完整迁移过去。随着 Claude 写代码量激增,其日均合并代码变更从 2026 年 5 月的约 2500 次升至 9 月的超过 3 万次,git 的离线分布式设计成为瓶颈。
推荐理由:Anthropic 公开自研版本控制系统 Scion 的设计取舍,为智能体大规模写代码后的工程瓶颈提供一份可借鉴的实践样本。
Anthropic 工程团队发文介绍 claude.ai、Claude Code 和 Claude Cowork 三款智能体产品各自的隔离架构,包括 gVisor 临时容器、操作系统级沙箱和本地虚拟机三种模式。
推荐理由:Anthropic 公开三款智能体产品的隔离架构与真实事故复盘,可对照自身部署的沙箱与出网控制设计。