OpenAI 研究:编码智能体加速 AI 研究的不均衡前沿
OpenAI 测量了编码智能体加速 AI 研究的实际效果,发现其表现仍不均衡。这项研究同时探讨了这些结果对递归自我改进意味着什么。
OpenAI 测量了编码智能体加速 AI 研究的实际效果,发现其表现仍不均衡。这项研究同时探讨了这些结果对递归自我改进意味着什么。
AnyS1 将人工编写的流程技能转化为共享的决策点,训练一个 4B 校准指针模型处理常规选择,置信度不足时回退到大模型。作者从 1000 多个公开技能中挖掘可枚举决策并构建 Any-DP 数据集,在三个未见基准上相对未编译的 System-2 智能体将单次任务成本降低 75-91%、模型调用时间降低 63-92%,同时保持任务可靠性。
UC Berkeley、Microsoft Research 和 Microsoft Security 发布开源插件 TokenEconomizer,它从智能体在仓库中的历史会话学习,在不修改智能体和底层模型的前提下减少后续会话的 token 浪费。
推荐理由:读者可以看到一个不改动智能体本身、只靠历史会话学习的插件,在 277 个真实修 bug 任务上如何降低 token 成本。
Import AI 481 介绍了 FrontierML 基准,它用 21 个端到端机器学习任务衡量智能体能否把 $10、$50、$200 的预算转化为模型性能提升。
微软研究者发现名为 Lazarus 的后门手法,只需重编程 LLM 中不到 10 个休眠神经元、无需训练,就能让智能体在隐藏触发条件出现时执行攻击者命令,例如时钟跨入 2027 年后下载并运行攻击者代码。
推荐理由:微软研究者披露仅改动不到 10 个休眠神经元即可给智能体植入后门,并给出权重溯源与扫描的防御思路。
Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,由 Gemini Carbon 驱动的智能体生成超过 600 万行 Lean 证明,验证了 Signal 协议实际代码的关键安全属性。
推荐理由:DeepMind 用多 LLM 智能体框架把形式化验证推进到已部署协议的实际代码层,四周完成过去需数年的工作。
微软研究院发布研究原型 PDD Kit,把开发者意图转成 Verus 形式化规范,证明智能体生成的代码对每个输入都满足规范,证明覆盖不到的部分则回退到测试。
Import AI 第 479 期介绍 Realtime-Bench,这套基准包含 50 个交互式游戏与网页任务,用于评测模型在实时决策场景下的表现。在 wall clock 设置下,GPT-6 Astra(high)通过率最高,为 36%;而在暂停时钟条件下,高推理模型可接近 70% 至 80%。
Import AI 第 478 期汇总多项 AI 研究进展。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、187 个开源仓库的 219 个 PR 评测集。