Amazon SageMaker JumpStart 模型排行榜发布
AWS 在 SageMaker Studio 中上线 Amazon SageMaker JumpStart Model Leaderboard,可在质量、速度和成本三个维度并排比较模型。
AWS 在 SageMaker Studio 中上线 Amazon SageMaker JumpStart Model Leaderboard,可在质量、速度和成本三个维度并排比较模型。
Airbnb 分享了在 Amazon Bedrock 上运营编码智能体的方法:上线前用自有任务评测每个模型的得分和每次任务成本,据此设定默认模型与推理强度上限,上线后用 CloudWatch 指标和网关用量记录对比生产表现。文中提到一个评测得分领先的模型上线后,用户周均花费是上一模型的数倍,原因是缓存上下文被反复读取且用户发起了更长的自主会话;换到新模型后该群体主模型花费降至约七分之一。
NVIDIA Vera Rubin 平台首次参加 MLPerf 基准测试,在 MLPerf Training v6.1 的全部基准上均有结果,是本轮唯一覆盖所有基准的平台,其 NVL72 系统每 GPU 性能最高达 GB300 NVL72 的 2 倍。
推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和对比基线,可据此判断新一代平台的性能提升幅度。
Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三个公开基准上排名第一,参数量仅为此前 SOTA 的三分之二。
推荐理由:官方给出四个尺寸的基准排名与 CPU 推理延迟,可据此判断时间序列预测的部署成本。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、187 个开源仓库的 219 个 PR 评测集。