OpenAI 发布第二份内部研究加速报告,披露 Codex 等智能体使用数据
OpenAI's own researchers now say they value their AI tools more than nearly half their colleagues
OpenAI 发布第二份内部研究加速报告,披露 Codex、Dots 等内部智能体的使用深度。按 API 标价计算,10 月中位数研究员每天消耗价值 2400 美元的 token,环比增长 62%,前 10% 用户达每天 23000 美元。
OpenAI 内部报告给出编码智能体的用量、任务成功率与失败环节,可据此判断当前智能体在研发流程中的真实边界。
- 10 月中位数研究员日耗 2400 美元 token,环比增 62%
- 前 10% 用户日耗 23000 美元,超三分之二并行至少四个智能体
- 2 至 4 小时任务自主成功率从 23% 升至 46%
- 复杂工程任务成功率低:评估环境 29%,推理服务代码 25%
- 内部智能体使用仅占总研究算力 2%
发生了什么
OpenAI 发布第二份内部研究加速报告,披露 Codex、Dots 等内部智能体的使用深度。按 API 标价计算,10 月中位数研究员每天消耗价值 2400 美元的 token,环比增长 62%,前 10% 用户达每天 23000 美元。智能体运行量折算为每研究员每自然日 5.7 个工作日,预训练和后训练团队约 8 个。超过三分之二被追踪研究员在峰值时并行运行至少四个智能体。内部智能体使用仅占公司总研究算力的 2%。
为什么重要
报告显示编码智能体已深度嵌入 OpenAI 新模型开发,理论上 token 成本超过研究员基本工资(不含占薪酬 70% 至 80% 的股权)。同时,智能体在常规任务成功率高,但复杂工程任务失败率仍高,模型缺乏研究品味,需密切人工监督。OpenAI 称数据未必线性外推,并提及数学领域突破,暗示深度学习研究本身也可能出现突变。
对国内用户的影响
对国内开发者而言,报告提供智能体在真实研发流程中的使用强度与局限参考:常规任务可较高比例自主完成,但评估环境搭建、推理服务代码等复杂工程仍需人工把关。原文未提及中国大陆可用性,Codex、Dots 为 OpenAI 内部工具,国内用户能否直接使用原文未说明。
怎么上手或延伸阅读
延伸阅读可关注 OpenAI 发布的两份内部研究加速报告,以及 The Decoder 对第二份报告的报道。原文还提及 METR 对 Anthropic 的评估、OpenAI 首份研究加速报告和首席科学家 Jakub Pachocki 的相关文章,可按这些名称检索。
常见问题
- 问:OpenAI 内部智能体主要用在哪些任务?
- 答:报告称很大一部分 AI 使用流向沟通和编码。智能体完成训练运行监控的成功率为 79%,独立回答技术问题为 72%,但构建评估和强化学习环境为 29%,编写推理和服务系统代码为 25%。
- 问:研究员对编码智能体的依赖程度如何?
- 答:对 101 名员工的内部非代表性调查显示,中位数研究员宁愿放弃团队 40% 的人员或 30% 的算力,也不愿三个月没有当前编码智能体。另一项 28 人快速投票中,27 人偏好最新内部模型而非 mid-career 人类工程师。
- 问:报告提到智能体有哪些不足?
- 答:对十名研究员的定性访谈显示,模型缺乏对好研究想法以及代码和数据质量的品味,会陷入不必要的步骤、在分析中做出错误假设,并提交质量不佳的 AI slop 代码变更和不可用的数据产物,需要密切人工监督。
本解读由 AI 根据原文(The Decoder)整理,只基于原文内容;细节以原文为准。
来源:The Decoder · the-decoder.com