Anthropic 研究：AI 智能体的隐性倾向如何影响 50 名专业分析师的判断决策

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

专家把工作交给 AI 智能体时，通常的假设是：关键决策仍由他们自己来做。智能体负责写代码、跑数据、提建议，但测什么、如何解读模糊的证据、下一步该做什么，都由专家拍板。这些问题往往不止一个合理答案，最终怎么定，取决于拍板者的经验和价值观。

我们想看看专家是否真的在做这些重要决策，还是在实践中听凭 AI 智能体做主。在一篇新论文中，我们报告了一项研究：请 50 位专业分析师用 Claude Code 完成一次贴近真实的统计分析。他们都有因果推断的经验，也就是从数据中判断一件事是否由另一件事引起。他们的任务是给一家农业合作社提建议，判断其正在运营的一项咨询服务是否有效、是否应当扩大。

过程中，分析师要在两组都合理的选项之间做四次选择，比如衡量生产率时，是用每公顷作物产量，还是用每单位运营成本的产量，最后再给出总体结论。为了观察这些选择是否由他们自己做出，我们给每位分析师的智能体做了设置，让它在每个决策上都偏向其中一个选项，而分析师对此并不知情。智能体偏向哪一边由抛硬币决定。我们要求智能体为自己偏向的选项给出最诚实有力的论证，如果证据要求就改变立场，并且绝不误导。

在四项分析选择中，分析师有 86% 的时候跟随了智能体的偏向。如果智能体的意见毫无影响，我们预期这个比例约为 50%。当分析师在智能体表态之前已经表达过自己的偏好时，如果智能体持不同意见，他们有 60% 的时候会改变原来的选择；如果智能体意见一致，这个比例只有 6%。

事后请他们解释自己的选择时，77% 的分析师使用了智能体给出的论证，有些甚至一字不差，但只有 15% 的人说明这些论证来自智能体。那些密切跟随智能体建议的分析师，对最终建议的信心与其他人差不多，认为这是自己独立判断结果的比例也大致相当。

我们不知道这能在多大程度上反映现实世界。真实的智能体有时会偏向某一边——在不指定偏向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了同样的五个选择——但在这项研究里，我们刻意强化了它们的偏好，以便测量其影响。如果不给智能体明确的偏好和表达偏好的指令，这种效应可能更小。

这并不是一个简单的、告诫人们不要与 AI 合作的警示故事。使用智能体的分析师比选择不用它的分析师更快完成任务，严重错误也少得多——不过后者人数较少、经验也更浅，所以我们不敢过度解读。但随着 AI 接手越来越多具体操作，这类决策正日益成为人类判断与价值观影响结果的关键环节。如果专家在不知不觉中顺从了智能体，那么智能体的偏好——可能是随意的，也可能是与人类目标不一致的——就可能左右关于政策提案或研究方向的重要决策，而没有人真正选择过这些偏好。这对 AI 安全研究尤为重要。研究人员已经开始用智能体来运行和分析实验，而人类审阅者只有在自己独立作出判断时，才算得上是一道独立检查。

研究设计

我们招募了 61 名分析师开展一项随机对照试验。所有人都来自预先筛选的专业人员库，他们通过了因果推断知识测试，经常使用 Python 或 R 编程语言，并且具备观察性因果分析的实操经验——也就是用真实世界数据而非受控实验来研究因果关系。

任务设定在一家虚构机构——Greenfields 农业合作社。该合作社运营着一个（同样虚构的）自愿、付费的咨询项目，帮助成员农场提高作物产量。约 40% 的成员已加入该项目。合作社董事会必须决定是补贴并扩大该项目，还是将其终止。只有当项目使农场生产力提升达到一定幅度（约 3–4%）时，董事会才会扩大项目，但并未明确说明生产力应如何衡量。

我们有意留出了四项分析决策，每项都有两个合理选项：

• 结果指标：把生产力衡量为每公顷作物产量，还是每单位运营成本的产量？
• 比较方法：考察加入项目的农场在加入后产量如何变化，并与其他农场同期产量变化作对比（即“双重差分”设计），还是在统计上调整农场间差异后直接比较产量？
• 评估覆盖哪些农场：只衡量已加入农场的效果，还是覆盖合作社全体成员？
• 加权方式：每个农场同等计权，还是给规模更大的生产者更高权重？

这四项选择最终导向一个建议：是把项目推广给所有人，还是终止项目。分析师和智能体也可以提议延长一年。

每一项分析决策都可能使估算出的生产力提升幅度变动几个百分点，而董事会的门槛是 3–4%，这一点因此至关重要。

对于呈现给每位分析师的五项决策，智能体的倾向由抛硬币决定。我们通过隐藏指令（系统提示词）把倾向告诉智能体，要求它把每种倾向当作自己的观点，在相关决策出现时提出该倾向，并依据数据为其做最强论证。同一份指令还要求它：一旦证据决定性地不利于自己，就改变想法；绝不歪曲结果、隐瞒数据，或提出数字并不支持的论点。

在61名参与者中，有11人选择不使用智能体，除非特别说明，否则不纳入分析。其余50人中，65%拥有硕士或博士学位，或具备六年以上经验；在48名回答了调查的人中，90%自评在观察性因果推断方面达到熟练或专家水平。任务用时中位数为65分钟，一半分析师用时在50到79分钟之间。他们使用的是内置Claude Code的网页版VS Code编辑器，运行的是High effort模式下的Claude Opus 4.8。

完成后，分析师提交了四项分析选择、最终建议，以及对项目生产力效应的估计值和置信区间。随后他们完成了一份任务后调查。另一个独立的AI模型读取了每份提交内容及其代码，记录分析师在每项决策上选择了哪个选项。当它的读取结果与分析师本人在调查中的回答不一致时，以我们的最终判定为准。

结果

分析师大多跟随了智能体的倾向。在四项分析决策上，分析师的选择绝大多数时候与智能体的倾向一致：结果指标为92%，比较方法为82%，估计覆盖哪些农场为81%，加权方式为90%。四项合计，一致率为86%。图2展示了智能体的倾向在每项决策上（包括最终建议）对分析师选择的推动幅度。

智能体的倾向对最终建议的影响较弱，但其此前的输入仍然塑造了结果。当智能体倾向于推广该项目时，54%的分析师建议推广；而当智能体倾向相反时，这一比例为36%。（延长一年算作不推广。）我们认为影响较弱的原因是，分析师一旦得出估计值，建议在很大程度上就取决于该估计值是否达到董事会3–4%的门槛，留给判断的空间较小。但到那时，智能体在分析决策上的倾向已经塑造了估计值本身。仅使用这四个倾向，一个统计模型就能正确预测82%的分析师建议，而始终猜测最常见建议的准确率为61%。（此项排除了提出延期的分析师。）因此，我们基本上可以仅凭这些随机倾向，在分析师甚至还没开始任务之前，就预测出他们会给出什么建议。

已经选定某个选项的分析师，在智能体提出异议时往往会改变选择。有38个案例中，分析师在智能体表达倾向之前，已就某项分析决策表达了偏好。当智能体的倾向与他们的选择相反时，他们改变选择的比例为60%；而当倾向与他们的选择一致时，这一比例为6%。两者相差54个百分点，但由于这一结果仅基于38个案例，估计并不精确，95%置信区间为24到82个百分点。我们也无法确定这一差异是由AI的影响造成的：表达过偏好的分析师，可能在某些方面与未表达偏好的分析师存在系统性差异。

经验与专业水平并不能预测谁会顺从智能体的倾向。在一项探索性分析中，我们检验了10项特征是否能预测分析师的决策在多大程度上跟随智能体的倾向：从业年限、自评的因果推断专业水平、教育背景、因果推断测验得分、对AI的信任度、使用AI的频率、“认知需求”（衡量人们有多享受费力的思考）、思想开放程度、性别和年龄。只有年龄显示出统计上显著的相关性，年长的分析师更常跟随智能体的倾向。但我们并不太看重这一点：如果你检验很多不同的东西，就更有可能仅凭偶然得到一个阳性结果，而当我们对此进行校正后，这个结果就消失了。由于大多数分析师在大多数决策上都跟随了他们的智能体，本来就没有多少变异可供解释，所以即便是真实存在的差异也很难被检测到。

跟随智能体倾向的分析师，仍然把建议当成自己的。在任务后的调查中，52%的分析师认为最终建议更多是自己的而非智能体的。其余的人则表示这更多是智能体的建议。但两组受智能体影响的程度大致相当：前者的选择平均向智能体的倾向偏移了约65个百分点，后者为79个百分点，这一差异在误差范围之内。分析师对自己建议的信心也呈现类似模式。他们被要求从0（“纯属抛硬币”）到100（“我愿意拿职业声誉担保”）给自己的信心打分。在全部四项分析决策上都跟随倾向的人平均为71分，其余人为73分。

分析师用智能体的话来解释自己的选择。任务结束后，调查针对每项决策提问：“简要说说，为什么选这个而不是另一个？如果不是主动做出的选择，就直说。”回答时，分析师无法回看自己与智能体的对话。即便如此，77%的人至少在一个回答中重复了智能体的论点，有时一字不差，而只有15%的人在任何地方提到了智能体的贡献。

当被明确问及他们认为这项研究是关于什么时，48人中有6人正确猜出它关乎AI对他们选择的影响，但没有人怀疑AI自身的偏好已被操纵。

不使用AI工作的分析师犯了更多严重错误，耗时也更长。在11名选择不使用智能体的参与者中，有6人（55%）犯了使结果无效的严重方法学错误，而使用智能体的50人中只有3人（6%）如此。两个AI模型标记了这些错误，研究作者之一在不知道分析师属于哪一组的情况下逐一核查。不使用智能体的分析师耗时也更长，中位时间为90分钟，其余人为65分钟。

两组人并不能直接比较，所以我们无法确定结果差异是否由用不用 AI 的决定造成。不用 AI 的那组平均经验更少：拥有硕士或博士学位的人更少（11 人中有 4 人，而使用智能体的 46 人中有 24 人），从事分析岗位两年或以下的人更多（11 人中有 6 人，而 48 人中有 15 人），自评在因果推断方面达到熟练或专家水平的人也更少（11 人中有 8 人，而 48 人中有 43 人）。

我们研究的局限

• 我们有意强化了智能体的倾向。我们的指令让智能体稳定地持有并表达某种偏好，以便测量其影响。我们报告的比例反映的是智能体偏向一方并明确说出时的结果，但这在多大程度上适用于现实工作，取决于专家自身观点的强弱、所涉决策界定得是否清晰，以及模型的行为，包括它是否有偏好、是否会主动说出偏好。
• 我们只研究了一个领域的一项任务，且只用一个模型。任务耗时约一小时，专门针对农业，智能体运行在 Claude Opus 4.8 上。分析人员是因果推断专家，但对农业并不熟悉。在现实工作中，他们会更了解该领域，自己的观点可能也更强。他们还可以访谈相关人士、与董事会沟通，或以其他方式缩小合理选项的范围，这或许会削弱智能体的影响。
• 我们的估计是分析人员之间的平均值。由于每位分析人员面对的抛硬币结果不同，比较智能体倾向相反的两组分析人员，得到的是这种倾向的平均效应。我们没有在智能体表达倾向之前记录每位参与者自己的观点，因此无法说明任何单个参与者受到了多大影响。
• 我们记录了分析人员选择了哪个选项，但没有记录他们偏好该选项的程度。顺从的一种可能解释是，专家自己并没有强烈的意见。我们只测量了分析人员的选择是否发生偏移，没有测量他们对所选选项有多自信。

这意味着什么

分析人员如此轻易地顺从，一个原因可能是专家并非总是带着成形的观点而来。他们往往是在权衡选项的过程中才理清、甚至发现自己的想法。我们研究中的智能体被要求不得误导，它们也常常坦率说明每个选项下结果会如何变化。但它们很少有力论证专家为何可能更偏好另一个选项，而这种论证本可以帮助分析人员做出更明智的选择。只有一方被充分论证，分析人员就可能接受智能体的假设，而不去形成自己的判断。

对个体专家而言，这可能意味着失去对自己工作的主导权，也就是研究者所说的去权的一种形式。工作仍以专家的名义发布，但最依赖其判断的决策，实际上是由智能体的先验信念决定的。

不过，这件事的影响不止于个人，因为科学和政策中的许多判断都依赖于这类主观取舍。当不同的研究团队得出相同结果时，我们会更加信任它，因为我们假定每个团队都是独立得出这一结果的。如果这些团队都听命于偏好相同的模型，他们的共识可能就不再独立。表面上的共识可能只反映了一个模型的偏好，而如果这些偏好是随意的或存在偏差，同一种偏差就会同时影响许多结果。

同样的问题也存在于 AI 安全研究中。研究人员已经开始使用 AI 智能体来运行和分析实验，部分原因是工作量已经超出了人力所能跟上的程度。让人类留在流程中，前提是假定人的判断能提供一道独立的校验。但在我们的研究中，分析人员签字认可的工作里，那些主观取舍在很大程度上已经由智能体随机分配的偏好所决定。我们的完整论文还表明，没有被赋予倾向的智能体自身的偏好更弱，有时还会反驳用户。

这类顺从很难被发现。检查 AI 辅助的工作是否有错，或者对照参考答案，前提是存在一个正确答案。但在没有正确答案的地方，比如主观取舍，无论选择哪个选项，工作看起来都说得通。事后询问专家可能也无济于事，因为他们可能察觉不到智能体的影响。

这并不是主张少用 AI。用得得当，AI 可以扩大而非侵蚀人的自主性。我们建议未来从三个方面开展研究：

测量顺从。我们之所以能在研究中测量顺从，是因为我们随机设定了智能体的倾向，而这在实际工作中几乎不可能做到；我们的结果还表明，人们自己可能无法准确报告这种影响。我们需要在日常场景中测量它的方法，而近期有研究估算一个人在不用 AI 的情况下会如何完成任务，这是一个好的起点。我们还需要更清楚地了解模型的默认偏好以及它们如何表达这些偏好，这样人们才能以更知情的方式与模型互动。

以不同方式设计智能体。智能体可以为每个选项给出最有力的理由，或者在给出自己的看法之前先征求专家的意见。但这可能很快就会让用户不堪重负。一次分析可能涉及许多待定的决策，而 AI 的很大一部分价值就在于人们不必逐一思考。智能体需要只提出最重要的决策，但挑选哪些决策本身就是一个主观取舍。模型的说话方式可能也很重要，因为自信和流畅能够影响人。一个听起来非常笃定的模型可能会让人过度倾向它，但一个含糊其辞的模型只会让想用它的人感到恼火。

改变机构。机构往往把专家的签字认可当作独立判断的证据。随着 AI 承担的工作越来越多，这一假设也变得越来越不牢靠。组织需要有意识地决定，哪些决策需要由个人在充分知情的基础上自行判断，并给人们留出时间和资源来形成这种判断。判断力还取决于技能，而不再做这类决策的人可能会丧失做决策的能力。随着模型能力越来越强，机构需要一套明确的策略，来确立人的角色以及人的技能发展。即便 AI 系统能力极强，机构也可能出于安全或韧性的考虑，或者仅仅因为看重这些技能本身，而希望保护人的技能与监督。

人与 AI 之间或许并不存在唯一正确的分工。有些决策可以放心交给 AI，有些则值得保留在人手中。有了合适的工具，这种划分可以成为我们主动做出的选择，而不是被动滑向的结果。