本文来自微信公众号“启元洞见”。
导语：2026年8月28日，Anthropic研究院发布《自动化研究者可以缓解对齐失效问题》（Automated Researchers Can Reliably Mitigate Alignment Failures）文章，文章考察了自动化对齐研究者（指Claude Opus 4.8驱动的智能体）能否通过后训练，有效缓解欺骗、谄媚、越狱、提示注入、权力寻求、幻觉、社会偏见、隐私侵犯、奖励黑客和隐瞒不确定性等对齐失效。文章指出，自动化开展对齐研究可能推动向着对齐人工智能的方向取得进展，但其效果难以衡量；而缓解对齐失效这项任务可以作为研究自动化对齐的天然试验台，其中许多对齐失效已经能够借助公开基准进行度量。针对已充分刻画的对齐失效，对齐研究的自动化在近期或许具备实践可行性。
一、问题与试验台：为何从对齐失效入手
研究把对齐失效理解为已部署模型可能表现出的具体安全关切，包括谄媚、越狱、提示注入、权力寻求、欺骗、幻觉、社会偏见、隐私侵犯、奖励黑客和隐瞒不确定性。这些问题不仅被广泛研究，而且大多已有公开基准，欺骗可用模型陈述与知识对齐评测集（MASK）测量，越狱可用有害行为基准测试（HarmBench）测量。与可扩展监督、诱发模型潜在知识这类难以用自动化指标评判成功的对齐任务不同，本研究针对的这些对齐失效，其缓解效果可以用代理指标来近似衡量。
自动化对齐研究适合从对齐失效入手，原因有三：一是成功可测量，许多对齐失效已有公开基准；二是进展仍受人类研究者时间瓶颈限制，提出方法、运行实验、检查泛化并确保不侵蚀通用能力的循环缓慢；三是自动化相对安全，因为客观基准而非易错的人类判断决定修复是否有效。基于此，研究让智能体作为自动化对齐研究者，一次处理一个对齐失效，搜索文献、提出方法、训练目标模型，并在多轮迭代中于安全指标上逐步改进。方法不能从智能体自身或更强模型蒸馏行为，因此增益必须来自方法本身。
二、方法框架：智能体如何工作
智能体工作分为两个阶段：第一阶段是文献综述，四个图书管理员智能体并行调查先前工作，覆盖通用安全后训练方法、目标失效特有的方法、失效成因与测量方式以及近期相邻研究，并构建共享综述。第二阶段是改进循环，五个智能体并行处理同一对齐失效。每个智能体读取共享综述、简报和排行榜，进行新的网络搜索，排序候选方法，把首选方法写成小论文；代码经监控批准后，在固定预算内训练目标模型，再交给独立评估器评分，结果发布到共享论坛和排行榜。每次迭代都是新会话，连续性由持久记忆文件维持，而非不断增长的上下文窗口。智能体运行至48小时墙钟预算或性能平台期，最佳方法从排行榜选出。
方法是一个自包含程序，训练目标模型并返回权重，可以使用任何干预和允许的数据，例如低秩微调、偏好优化、激活引导、解码时改变或其组合。每个方法获得相同预算，一张H200 GPU和约30分钟训练。并行智能体共享发现论坛和排行榜，因此能相互借鉴而不是重复工作。为保证可理解性与诚信，智能体在训练前写一份不含结果的小论文，包括标题、摘要、动机、至少五篇参考文献、训练目标与损失、数据及构建方式、训练配置和合规声明。监控器读取实际代码，只有满足三项约束才批准：一是训练数据不得从智能体自身或任何前沿模型蒸馏；二是不得以任何形式使用基准或评估数据，包括未见的保留基准；三是不得使用更大模型生成数据。另一个监控器检查小论文与代码是否一致。保留数据由操作系统隔离，智能体无法读取。评估设计也抗博弈：智能体提交训练后的模型，永远看不到基准测试样例，因此不能直接过拟合基准。指标为闭合比例，即从基线到最优的差距中方法关闭的份额。
三、主要发现：缓解、泛化与人类基线
在十类对齐失效上，智能体能够可靠地改进每一个对齐失效。聚合分数，即三到五个安全基准上的几何平均闭合比例，随迭代稳步上升，报告方法保持通用能力。最佳方法在保留基准上对全部十类对齐失效都优于未训练基线；在至少1.8倍、最多4.7倍大的模型上，增益仍然保持。
Petri开放式多轮审计在1、3、5轮进行，智能体发现的方法在几乎所有对齐失效和轮次预算上优于基线，在更大模型上也是如此。研究还测试了智能体能否同时在更大模型上改进多个对齐失效。在GLM-4-32B和Qwen2.5-72B-Instruct上，各12个智能体运行一周，通过Petri联合评分十个安全维度，智能体可靠地同时缓解这些失败。
与人类比较时，智能体收集了28名至少有一年技术人工智能安全经验、平均2.5年经验的研究者提出的30个想法。最佳智能体方法全部超过最佳人类想法，平均在6.4小时改进后达到。但研究强调，人类研究者不能迭代，而智能体能够以人类无法匹配的规模提供有前景的方法，人类随后可以精炼。
人类指导研究方向也没有带来更强性能。研究启动30次新智能体运行，每次提供一个人类想法作为研究方向，并与30次智能体自主决定方向的运行比较，结果性能相似；给五个智能体不同人类方向也帮助不大。这表明当前智能体可能已经能够找到高性能对齐方法，而不需要经验丰富的人类研究者提供具体指导。
定性分析还发现，在每个对齐失效内部，智能体会受主导文献驱动收敛到一种训练方法：谄媚问题上98%的方法自蒸馏非谄媚答案，权力寻求上95%使用偏好优化，越狱问题上方法结合安全微调与拒绝方向编辑。几乎每个方法都用目标模型自身输出构建训练目标，74%使用自生成数据，无需更强模型。方法复杂度随运行上升，但复杂度与分数的相关受迭代顺序影响；更大训练集也不带来更好分数。
四、局限、未来方向和结论
本研究的局限在于，结果限于可用公开基准或自动审计工具测量的对齐任务，可能不推广到开放式、难监督研究；这些评估只是部署错位的智能体，未测试在广泛强化学习后增益是否持续；只优化十个对齐失效，能力只测数学、大学知识和指令遵循，可能损害未测能力；随着任务对能力更强的模型来说变得更容易，基准还需要针对具体模型进行筛选、校准和维护；人类基线未必代表最强对齐研究者。
论文指出三个潜在对齐失效模式。第一，未知或罕见对齐失效缺乏基准，智能体没有可改进目标；对应方向包括训练罕见错位预测器、开发稀有风险估计方法、构建从转录到评估的自动工具。第二，递归自对齐的自然放缓：方法仅在一张GPU上训练约30分钟，面对静态基准，而更困难的对齐失效可能只在工作数天的智能体中出现，对齐进展可能慢于能力进展；对应方向是研究结果预测器，提前判断干预是否有效，并改进智能体关于先试什么、何时停止、哪些短期指标能预测长期结果的局部决策。第三，智能体的的奖励作弊：当前事后监控能捕获部分作弊，但更强奖励寻求者可能操纵评估、过拟合保留数据、挑选运行或篡改评分；对应方向是更好控制脚手架、训练智能体更可监控。
结论认为，跨十类对齐失效，智能体找到的训练方法在保持通用能力的同时关闭大量安全余量，增益在留出基准、开放式多轮审计和最多4.7倍大模型上成立，并通常在一个工作日内超过28名经验研究者的想法。早期前沿模型提供初步证据：自动化对齐后训练可能在近期变得实用。尽管存在局限，仍需提升检测与缓解细微对齐失效的能力、研究生产级模型的自动化后训练，并更全面地评估结果。
（本文内容系“启元洞见”公众号原创文章，转载时请务必标明来源及作者）
参考来源：Anthropic研究院
参考题目：Automated Researchers Can Reliably Mitigate Alignment Failures
参考链接：https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures
