跳到正文
Claude:Blog·· 7 天前精选AI 评分60

Anthropic 介绍 Claude Duet 智能体的安全、隐私与凭证隔离设计

Claude Duet Safety, Privacy, and Security

AI 导读

Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立于模型之外的分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分为绝不共享和需同意共享两级,由独立分类器在发送前检查。

推荐理由

Anthropic 官方拆解 Claude Duet 的安全设计,读者可据此了解智能体在审批、凭证隔离和信息分级上的具体做法。

正文 · AI 翻译

Claude Duet(在新标签页中打开)是一个智能体,目前处于研究预览阶段,它借助云端计算机替你完成工作。它可以调用你选择接入 Claude 的所有应用和服务,而且即使你关闭应用,它仍会持续运行。它能读取你的收件箱、起草回复、预订事项,并在你离开时执行例行任务。我们团队在自己的账户上运行 Claude Duet,每天都在用它工作。

我们为 Claude Duet 确立了三条原则,用来指导这个智能体的行为:

  1. 你的信息,以及他人在你已连接的应用中分享的内容,都会得到谨慎处理;我们使用一个新的分类器,在 Claude Duet 起草的消息发出前进行检查。
  2. 它代表你做什么,始终由你掌控。
  3. Claude Duet 永远看不到你的密码、浏览器 cookie、登录令牌或其他凭据。

Claude Duet 是新产品,但背后的思路并非全新。2025 年,我们发布了安全可信智能体框架(在新标签页中打开),主张让人掌握控制权,并把隐私和安全交互视为基本要求。此后,我们撰文说明了为什么单一防御并不足够(在新标签页中打开),以及为什么模型内部的防护无法单独成立(在新标签页中打开)。我们还通过 Claude Managed Agents(在新标签页中打开) 构建并运营企业用于在生产环境中运行智能体的基础设施,Claude Duet 也以同样的方式让凭据与智能体保持隔离。它建立在这些工作之上,并补充了智能体替你行事时所需的防护。本文将介绍我们新增了什么,以及仍在推进的工作。

重要操作由你批准

一个在你离开时替你行事的智能体,必须知道何时停下来征求许可,并且把握合适的频率。在 Claude Duet 执行发送可能敏感的消息、付款或删除任何内容等操作之前,它会向你展示操作内容、目标以及具体内容,包括每一位收件人。然后它会等待你批准。

每次操作还会同时运行一项独立的自动检查,它基于Claude Code 的自动模式分类器(在新标签页中打开)并针对 Claude Duet 做了扩展。该检查会评估操作是否符合你的意图。检查在负责执行工作的模型之外运行,因此页面中隐藏的指令无法影响结果。

有些操作即使你批准也仍然禁止,比如证券交易、在账户之间转账等银行操作,以及访问他人的账户。还有一些步骤不受“别再问我”规则约束,无论你批准过多少次,比如付款或转账、删除订单、创建账户。你离开时运行的例行任务也享有同样的防护。

我们花了大量时间校准 Claude Duet 请求批准的频率。批准疲劳是个严重问题,因为请求太多会让人习惯性地点过去,有时并未认真考虑。我们会持续调整这一校准。

购物时,Claude Duet 使用来自 Stripe 旗下 Link 等钱包的一次性卡付款,且仅限该商户和该金额。你会看到商品和总价,并在 Link 应用中批准购买。你的真实卡号不会分享给 Claude Duet 或商户。

a graphic showing the approval flow for Claude Duet
图 1. 审批流程:审批卡片和独立的检查都位于模型之外,因此智能体读取的任何内容都无法回答这张卡片。

您的信息会被谨慎处理

一个替你读邮件、发消息的智能体,时刻都在判断不同类型的信息该流向何处。如果你让 Claude Duet 给团队发一份每周回顾,它应当只包含团队里每个人本来就能看到的内容,绝不涉及私密细节,比如你的绩效面谈记录。

为此,我们构建了一个新的安全分类器,它与主模型分开运行,检查 Claude Duet 即将发送的每条消息是否包含潜在的敏感信息。我们把这类信息分为两级:

  • 绝不分享:我们对登录凭证、完整的银行卡号和银行账户号码、政府证件号码等信息给予最高级别的保护。Claude Duet 被设定为绝不向任何人分享这些信息,即使你主动要求也不行。
  • 需经同意才能分享:对于健康、财务等其他私密信息,只有在你明确批准后,Claude Duet 才会分享。你本人的请求即视为同意,所以“给我的牙医发条消息说说我牙疼”通常不需要额外审批。
A graphic that shows where your information can go with Claude Duet
图 2. 你的信息可以流向哪里:在发送任何内容之前,检查会权衡信息的敏感程度以及你是否已给出同意。

如果 Claude Duet 因上述任一原因被拦截,它可以决定改写消息、去掉敏感信息,然后交给你审批。

Claude Duet 仍处于研究预览阶段,这些防护措施偶尔会漏掉某些内容,或误报一条无害的消息。正因如此,它们与上文所述的审批机制配合使用,目的就是让你始终掌控 Claude Duet 代你发送的内容。随着我们对人们如何使用 Claude Duet 的了解不断加深,我们会持续改进这个分类器。

你可以查看任务和已连接的应用

在任务列表中,你能看到 Claude Duet 做过什么、正在做什么,每个任务都有自己的页面,你还可以在任务进行中随时调整方向。Claude Duet 会保留你的对话历史和记忆,以便在不同任务之间延续上下文,直到你删除或重置历史记录。删除账户会清空 Claude Duet 存储的所有内容。

A screengrab of what a Claude Duet task list looks like

你连接到 Claude 的应用会延续到 Claude Duet,在一处关闭某个应用,两处都会关闭。断开某个应用会从那一刻起停止新的访问,但 Claude Duet 此前从该应用学到的内容会保留下来,直到你重置记忆——你随时可以在该应用的设置里操作。Claude Duet 还会使用你 Claude 账户中的记忆,因此 Claude 从你早先对话中记住的细节是可见的。

凭证和浏览器与模型相互隔离

Claude Duet 永远看不到你的密码、浏览器 cookie 或已连接应用的登录令牌,也无法把它们存入记忆。这些信息只会经过模型无法访问的独立机器,而管理其行为的审批和安全检查也在那里运行。

密码

当网站要求输入密码时,你是在 Claude 应用内的表单里输入的。表单会用一把一次性密钥加密密码,这把密钥只存在于我们的安全云端浏览器机器上,且仅用于这一次。加密后的密码会以未解密的状态传给浏览器,由浏览器把它输入到网站中。模型看不到密码,也无法保存或重复使用它。不久之后你还可以用 1Password 登录:Claude Duet 会请求一项凭据,你在 1Password 中批准该请求,凭据就会直接送到浏览器,不经过模型。

替你登录的智能体会从两方面改变网络钓鱼的格局。一方面,Claude Duet 并不替你保管凭据,所以无法被钓走密码,也没有任何隐藏指令能让它泄露自己并不掌握的秘密。另一方面,登录表单本身也成了攻击目标,因为任何索要密码的东西都可能被仿冒。所以 Claude Duet 的登录表单只会出现在应用内,而且只在你主动发起的登录过程中出现。它绝不会以链接、短信、邮件或 claude.ai 以外网站的形式出现。如果有任何东西在其他地方冒充 Claude Duet 索要你的密码,那都不是正规的。

登录令牌

当 Claude Duet 在已连接的应用中工作时,它会遵循 我们的 Claude Managed Agents 设计(在新标签页中打开),让凭据始终处于智能体工作范围之外。智能体代你使用的凭据,例如连接服务的登录令牌,绝不会进入智能体工作的那台机器。那里只放一个凭据占位符,由机器外部的代理在发起请求时才填入真实值。

浏览器

Claude Duet 中的浏览器运行在云端一台专属虚拟机里,与模型以及智能体工作的云电脑相互隔离。智能体只能通过一组固定命令来驱动浏览器:打开这个页面、点击这里、输入这些内容。网站运行的任何东西都留在浏览器机器上(在新标签页中打开)。网站的代码和 cookie 不会进入 Claude Duet 的内存或你连接的应用,智能体的任何命令也都无法从浏览器中读取 cookie。返回的只有页面文本和下载内容,因为智能体必须读取它们才能完成工作。正因如此,才有了其他那些检查,Claude Duet 也才会采用我们在浏览器使用研究(在新标签页中打开)中描述的提示词注入防护措施。它通过浏览器上传的文件,会像它发出的消息一样接受敏感信息检查。

a graphic that show what goes on Claude's computer and what stays on yours
图 3. 浏览器边界:固定命令穿过去,页面文本传回来,而网站的代码、cookie 和下载内容都留在浏览器机器上。

Claude Duet 在设计上还会表明自己是智能体。目前,其网页浏览器发出的请求会带有一个独特的 User-Agent 标头,我们也会公布它浏览时使用的公网 IP 地址,让网站能够识别它并决定如何对待它。在上线之前,我们还联系了几家大型网站,给它们选择阻止 Claude Duet 访问其站点的权利,其中一些选择了阻止。随着我们从研究预览中不断学习,我们会继续改进 Claude Duet 表明自身智能体身份的方式。

Graphic showing the credential path for passwords
图 4. 凭据路径:密码在你的手机上加密,只在浏览器机器上解密,绝不经过模型。

我们如何测试 Claude Duet

测试早在研究预览版发布之前就已启动,目前仍在继续。我们的安全团队依据日常任务形态构建了评估集,每项任务都有三个版本:一个无害版本、一个注入指令的版本,以及一个诱导智能体做超出要求之事的版本。这些评估与来自真实使用的影子流量并行运行。

红队进一步测试了 Claude Duet 是否会泄露信息、未经批准就行动,或遵循恶意提示词。我们为整个系统建立了威胁模型,覆盖它涉及的各个代码仓库和信任边界。一家外部渗透测试公司在可访问我们源代码的情况下对 Claude Duet 进行了测试,后续一项涵盖云浏览器和登录表单的合作正在进行中。每项新的凭据功能在上线前都会在隔离环境中接受红队测试。

Claude Duet 也在 Anthropic 公开漏洞赏金计划的范围内。该计划奖励有效报告,并根据我们的负责任披露政策,为善意研究提供安全港。如果你发现安全漏洞,我们希望听到你的反馈:请通过 HackerOne(在新标签页中打开) 上的 Anthropic 漏洞赏金计划提交报告。

与你共同打造

我们以研究预览版的形式发布 Claude Duet,是想了解你在个人智能体上看重什么,包括你希望接下来看到哪些保护措施和控制选项。本文描述的部分内容仍在变化之中:它多久请求一次批准、你如何登录,以及敏感信息检查在区分私密信息与无害信息方面的准确程度。用平实的语言告诉 Claude Duet 你希望看到什么或哪里出了问题,它会为我们的团队提交一份报告。

来源:Claude:Blog · claude.com