OpenAI 提出弱到强泛化的超对齐研究方向
OpenAI 提出面向超对齐（superalignment）的新研究方向：能否利用深度学习的泛化特性，用弱监督者来控制强模型，并给出了初步结果。
#安全/对齐
OpenAI：官网动态AI 评分5353
英国 AI Security Institute：Blog精选AI 评分7777 首届 AI Safety Summit 在 Bletchley Park 召开，各国领导人与头部企业认同先进 AI 风险与测试的重要性
2023 年 11 月 2 日，首届 AI Safety Summit 在 Bletchley Park 举行，英国首相办公室及科学、创新和技术部发布总结。世界领导人与头部公司一致认同先进 AI 风险的重要性以及测试的意义。
推荐理由：主办方官方总结首届峰会成果，读者可从中了解各方对先进 AI 风险与测试重要性达成的共识。
LMSYS Blog ToxicChat：真实用户-AI交互场景下的内容审核基准测试
研究团队发布ToxicChat基准测试，包含10,000条真实用户-AI对话数据，用于检测对话系统毒性内容。该数据集从Vicuna和Chatbot Arena平台采集，除常规有害内容外，特别标注了"越狱"诱导攻击样本。通过Perspective API与人工协作标注，团队在保持96.11%一致性的同时减少60%工作量。数据显示真实场景中毒性查询占7.22%，多采用隐含诱导而非直接脏话。该基准已在Hugging Face开源。
OpenAI：官网动态AI 评分5858 OpenAI 建设前沿风险防范体系并组建 Preparedness 团队
OpenAI 宣布为高能力 AI 系统的安全建立灾难性风险防范（Preparedness）方法，包括组建 Preparedness 团队并发起一项挑战赛。
EleutherAI：Blog 基础模型透明度指数如何扭曲透明度
由于提供的正文内容仅包含一句话"Evaluating transparency requires precision."，缺乏撰写100-200字摘要所需的必要信息（如具体发布内容、数据指标、关键变化等），无法完成符合要求的摘要撰写。请提供完整正文内容以便提取关键信息点。
OpenAI：官网动态AI 评分4343 OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事，并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同参与，此次更新同时涉及人事任命与资金投入两项内容。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
OpenAI：官网动态AI 评分4040 OpenAI 公开招募红队网络成员
OpenAI 宣布公开招募 Red Teaming Network 成员，邀请各领域专家参与，以提升其模型的安全性。
OpenAI：官网动态AI 评分5757 OpenAI 等发起 Frontier Model Forum 行业机构
OpenAI 宣布参与成立行业机构 Frontier Model Forum，推动前沿 AI 系统的安全和负责任开发。该机构将推进 AI 安全研究、确定最佳实践和标准，并促进政策制定者与行业之间的信息共享。
OpenAI：官网动态AI 评分5656 OpenAI 等头部实验室通过自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺加强 AI 的安全性、安保和可信度。材料仅提供摘要，正文细节未公开。
OpenAI：官网动态AI 评分4242 OpenAI 宣布启动漏洞赏金计划
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI。该计划是 OpenAI 践行开发安全且先进 AI 承诺的重要举措。
OpenAI：官网动态AI 评分4949 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究语言模型被用于虚假信息活动的潜在风险
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被滥用于虚假信息活动的风险。合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会，并基于一年多的研究共同撰写报告。报告梳理了语言模型若被用于增强虚假信息活动对信息环境构成的威胁，并提出分析潜在缓解措施的框架。
OpenAI：官网动态AI 评分4545 OpenAI 推出新版内容审核工具 Moderation 端点，API 开发者免费使用
OpenAI 发布新版内容审核工具 Moderation 端点，改进此前的内容过滤器，即日起面向 OpenAI API 开发者免费开放。
EleutherAI：Blog 使用 GPT-3 对分解认知的初步探索
研究团队利用分解认知（factored cognition）策略，使原本无法完成简单数学运算的 GPT-3 成功处理复杂算术任务。实验通过将复杂玩具任务拆解为可管理的子任务，验证分解方法在现实模型中的可行性。结果表明，即使不具备基础数学能力，该模型仍可通过任务分解解决其原生能力无法处理的复杂问题，为扩展语言模型能力边界提供了初步证据。
OpenAI：官网动态AI 评分5959 OpenAI 发布 TruthfulQA 基准，衡量模型模仿人类虚假说法的程度
OpenAI 在官网发布 TruthfulQA，一个衡量语言模型是否会模仿人类常见虚假说法的基准。
EleutherAI：Blog 为何发布大语言模型？
创造并开源大语言模型对AI安全具有净收益价值。文章论证了公开发布大模型能够提升AI系统的安全性与透明度，详细阐述了支持开放源代码策略的核心理由，解释了这种发布方式为何有助于推动AI安全领域的整体发展，而非增加潜在风险。
OpenAI：官网动态AI 评分5757 OpenAI 提出 iterated amplification 方法，用子任务分解指定复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过演示如何将任务分解为更简单的子任务，而非提供标注数据或奖励函数，来指定超出人类规模的复杂行为与目标。该方法尚处早期，目前仅在简单的玩具算法域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方法。
OpenAI：官网动态AI 评分5151 OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态AI 评分4747 OpenAI 如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于给机器看的视错觉。OpenAI 展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI：官网动态AI 评分5353 OpenAI 参与合著论文 Concrete Problems in AI Safety
OpenAI 与 Berkeley、Stanford 研究者共同作为合著者，参与由 Google Brain 研究者主导的论文 Concrete Problems in AI Safety。论文探讨了围绕确保现代机器学习系统按预期运行的多个研究问题。