跳到正文
AWS Machine Learning Blog· Alan Yao·· 2 天前AI 评分58

Airbnb 如何用每次任务成本在 Amazon Bedrock 上运营编码智能体

How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

AI 导读

Airbnb 分享了在 Amazon Bedrock 上运营编码智能体的方法:上线前用自有任务评测每个模型的得分和每次任务成本,据此设定默认模型与推理强度上限,上线后用 CloudWatch 指标和网关用量记录对比生产表现。文中提到一个评测得分领先的模型上线后,用户周均花费是上一模型的数倍,原因是缓存上下文被反复读取且用户发起了更长的自主会话;换到新模型后该群体主模型花费降至约七分之一。

来源:AWS Machine Learning Blog · aws.amazon.com