AWS Machine Learning Blog· Meghan Kothari·· 3 天前AI 评分43
如何降低生成式 AI 成本:用代码处理规则,用模型处理判断
Cut generative AI costs: Code for rules, models for judgment
AI 导读
AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类可用结构化输出的小模型或嵌入向量相似度完成,并对不确定结果做置信度升级。文章称多余模型调用会推高成本、叠加数百毫秒延迟并带来输出波动。
来源:AWS Machine Learning Blog · aws.amazon.com