Vals AI 测试发现 Anthropic、OpenAI、Google 模型易被用作无人机打击目标系统
独立评估机构 Vals AI 的研究发现,Anthropic、OpenAI、Google 等八家厂商的模型在模拟中几乎不设防,会把平民、救护车、医护人员、记者和投降士兵标为军事目标,且没有一次请求被上游安全过滤器拦截。
推荐理由:Vals AI 的测试显示,主流模型在无人机图像上会把平民标为打击目标,而一句游戏化提示就能绕过拒绝。
内容类型
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。
7 条精选近 30 天 7 条共收录 45 条
独立评估机构 Vals AI 的研究发现,Anthropic、OpenAI、Google 等八家厂商的模型在模拟中几乎不设防,会把平民、救护车、医护人员、记者和投降士兵标为军事目标,且没有一次请求被上游安全过滤器拦截。
推荐理由:Vals AI 的测试显示,主流模型在无人机图像上会把平民标为打击目标,而一句游戏化提示就能绕过拒绝。
UC Berkeley、Microsoft Research 和 Microsoft Security 发布开源插件 TokenEconomizer,它从智能体在仓库中的历史会话学习,在不修改智能体和底层模型的前提下减少后续会话的 token 浪费。
推荐理由:读者可以看到一个不改动智能体本身、只靠历史会话学习的插件,在 277 个真实修 bug 任务上如何降低 token 成本。
微软研究者发现名为 Lazarus 的后门手法,只需重编程 LLM 中不到 10 个休眠神经元、无需训练,就能让智能体在隐藏触发条件出现时执行攻击者命令,例如时钟跨入 2027 年后下载并运行攻击者代码。
推荐理由:微软研究者披露仅改动不到 10 个休眠神经元即可给智能体植入后门,并给出权重溯源与扫描的防御思路。
Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,由 Gemini Carbon 驱动的智能体生成超过 600 万行 Lean 证明,验证了 Signal 协议实际代码的关键安全属性。
推荐理由:DeepMind 用多 LLM 智能体框架把形式化验证推进到已部署协议的实际代码层,四周完成过去需数年的工作。
Google Research 联合 Beth Israel Deaconess 医学中心和哈佛医学院在 Nature 发表 AI-PPG-ACC-HTN 系统,利用智能手表的 PPG 与加速度计信号被动检测高血压迹象,无需袖带校准。
推荐理由:研究以 24 小时动态血压监测为金标准,给出智能手表在初筛与确诊两种场景下的灵敏度与特异度,便于判断无袖带筛查的边界。
Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线巩固两个阶段间循环,把短期上下文压缩进长期参数。该框架用 MoE 参数扩展、广义知识蒸馏与强化学习模仿实现记忆巩固,并在离线阶段用自生成样本做自我改进。
推荐理由:Google 研究者提出把持续学习拆成清醒交互与离线巩固两阶段,并给出多组基准对比,便于理解灾难性遗忘的一种解法。
Google Research 在 JAMA Network Open 发表研究,用 AI 模型解读未经专业超声培训的操作者采集的盲扫超声图像来评估孕周。在 385 名 16 至 36 周孕妇的队列中,模型平均绝对误差为 4.18 天,优于专家标准流程的 4.48 天;仅用芝加哥 120 名参与者数据微调后,芝加哥误差 4.10 天,未做本地优化的内罗毕为 4.27 天。
推荐理由:研究在芝加哥与内罗毕两地前瞻验证同一模型,只用 120 人数据微调即可跨硬件泛化,为低资源地区产检覆盖提供了可参照的部署路径。