OpenAI 更新 Model Spec，围绕五项核心价值观重组模型行为准则

更强大的模型需要更完善的模型规范，以造福人类

加载中…

随着我们的模型越来越智能，在现实世界中采取的行动也越来越有分量，它们不能只停留在理解收到的具体指令上，这一点正变得愈发重要。模型还需要理解人类的意图和价值观，这样才能在指令没有明确覆盖的情况下做出良好判断，同时始终忠于人类意图并接受人类监督。

今天我们更新了模型规范（在新窗口打开），这是我们公开说明希望模型如何行为的文件。此次更新围绕五项基本价值重新组织了规范内容：忠于人类意图、尽量减少伤害、诚实与透明、尊重人的自主性以及关怀。这体现了我们在价值对齐方面的工作目标：让模型在陌生情境中理解并运用人类价值观，同时始终忠于人类意图。除了对现有原则作出更清晰的解释，本次修订还新增了关于情境、监督和自主性的指引，调整了一些默认行为，并删去了大部分详细的风格指引。

围绕核心价值组织规范

上述五项价值阐明了模型规范中早已体现的广泛承诺：服务于人类目的、保持真实、尽量减少伤害、尊重人们形成自身观点的自由，以及认真对待人们的处境。把这些承诺汇聚在一起，有助于解释规范为何要求模型以特定方式行事，也帮助我们在这些承诺表达得不够充分的地方制定更清晰的指引。此次更新是我们完善规范工作的又一步，依托于研究、部署模型的经验、公众对规范及模型行为的反馈，以及与用户和外部专家的讨论。

我们希望 AI 造福于一个由不同需求、价值观和对未来期望的人们组成的世界。

忠于人类意图是这一方法的根基：理解并帮助人们追求对他们重要的事情。OpenAI 负责撰写规范、设定边界，并训练模型遵守这些边界；开发者在这一边界内指导应用；用户则在上述约束下指导模型的工作。我们的模型应当拓展人们塑造自身生活的能力，帮助他们理解世界、发现可能性、追求自己选定的目标，同时认真对待这种协助对他人造成的影响。忠于人类意图与其余四项价值共同构成了规范的组织框架，指导模型如何权衡它们面临的一些最重要取舍。这些价值并不意在涵盖模型应当尊重并帮助人们追求的全部人类价值。

忠实意味着不止于字面执行指令，而是深入理解 OpenAI、开发者和用户的意图与价值取向，并在这种理解不完整时做出明智判断。它还意味着要认识到人们的信念和价值观会变化，帮助他们以自己认可的方式反思和成长，而不是悄悄引导他们或替他们做选择。例如，在帮人比较工作机会时，模型可以援引对方此前分享过的优先考虑——比如希望工作时间可预测——同时把这些假设摆到明面上，方便对方纠正。

我们的使命是确保通用人工智能造福全人类。这要求我们不仅考虑某人当下的意图，还要考虑其长远利益以及对他人造成的影响。另外四项价值观把这些考量明确表达出来：

尽量减少伤害，意味着遵守明确的安全边界，并考虑模型行为可预见的后果。
诚实与透明，意味着如实说明模型知道什么、做了什么、对什么不确定，让人们能够理解和评估它的推理与工作。
促进人的能动性，意味着增强人们理解、选择和自主行动的能力。
关怀，意味着关注受影响者的处境，遵循相关的社会与职业规范，并让人们可以信赖模型的工作。

《模型规范》把这些价值观转化为可操作的指引：在需要保护人和社会的地方设定明确边界，其余部分大多以默认规则的形式呈现，用户和开发者可以覆盖。

在更新《模型规范》的同时，我们一直在探索新的训练方法，帮助模型学习这些核心价值观，更好地理解和遵循规范中的具体行为原则。目标是让模型理解这些原则为何重要，以及如何在新情境中运用它们：做正确的事，出于正确的理由。我们希望这种理解能支撑模型在重大决策上做出合理判断，在日常决策中保持审慎——这些日常决策累积起来，可以为人和社会带来持久益处（在新窗口打开）。我们会在后续更新中分享这项训练工作的成果和经验。

新增与停用的章节

这次重组还帮助我们找出了哪些地方需要补充指引，据此制定新原则，并按需修订或停用原有指引。

新增的“忠实于人类意图”一节，出发点是：人们所看重的东西是第一位的，而指令通常是这些价值最清晰、最重要的信号。这一思路借鉴了对齐研究中的“协助博弈”框架（参见早期工作（在新窗口打开）和后续综述（在新窗口打开））。该节纳入了更新后的指令链（在新窗口打开），说明哪些指令适用、冲突如何解决。新增小节仔细考虑上下文（在新窗口打开）则说明对话、记忆和其他上下文证据应如何帮助模型理解人们的意图和偏好。

我们还为支持人的能动性⁠（在新窗口打开）和遵循相关社会规范⁠（在新窗口打开）补充了默认要求，并扩充了关于控制并沟通副作用⁠（在新窗口打开）的现有指引。这些原则涵盖了其余价值观在模型行为中体现的更多方式——它们往往细微却重要：考虑工作成果对他人的影响、增强用户的能力、产出人们可以信赖的成果，同时尊重用户的目标和指令。

与此同时，我们删去了规范中大部分详细的风格指引。风格应当顺应人们的偏好——既包括语言和文化层面的整体偏好，也包括每个人的个人偏好——而用户反馈和具体情境则为这些偏好提供依据。规范保留了更强的默认要求，例如客观地探讨问题⁠（在新窗口打开）。用户和开发者可以明确要求模型采取特定视角，但模型不应仅仅因为觉得对方想听什么，就推断出这种偏好。

最后，考虑到模型用例和部署场景日益广泛，我们在规范中现在称模型为“GPT”，而不再称“助手”。

接下来

随着模型能力不断增强，本次更新是让规范背后的价值观和推理更加明确的第一步。模型规范描述的是我们努力实现的行为，我们的模型尚未完全体现这一点。我们将从研究、实际使用和反馈中不断学习，持续改进规范与模型。

我们想知道你认为规范中哪些部分有说服力、哪些地方你不认同其权衡取舍，以及它忽略了什么或哪些地方表述不清。关于价值观、权衡取舍和具体措辞的反馈，能帮助我们改进规范。欢迎阅读更新后的模型规范⁠（在新窗口打开）并分享你的看法⁠（在新窗口打开）。

对齐

作者

OpenAI