OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
#OpenAI
OpenAI：官网动态AI 评分5151
OpenAI：官网动态AI 评分4343 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时位置相反一侧的物体。
OpenAI：官网动态AI 评分4343 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务学到的最终参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率与性能相近。
OpenAI：官网动态AI 评分4646 OpenAI 发布八个模拟机器人环境与 HER 基线实现
OpenAI 发布八个模拟机器人环境，以及 Hindsight Experience Replay 的 Baselines 实现，均基于其过去一年的研究开发。这些环境已用于训练可在实体机器人上运行的模型，OpenAI 同时发布了一系列机器人研究课题请求。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
Sam Altman：Blog 但它确实在动（E Pur Si Muove）
Sam Altman 观察到，旧金山对争议话题的开放度已不及北京，过度政治正确正在扼杀创新。他指出，从牛顿研究炼金术到比特币的诞生，所有突破性想法最初都看似异端；当社会将持不同意见者视为异端而非辩论对象时，思想交流逐渐停滞，顶尖人才开始外流。警告称，若无法容忍"地球是圆的"这类曾经危险的观点，湾区将失去孕育 SpaceX 或比特币的土壤。
Sam Altman：Blog精选 融合
人类与机器的"融合"并非未来奇点，而是已悄然开始数年的渐进过程。智能手机、社交媒体算法和搜索引擎已在控制人类行为与思维，我们正与AI进入共同进化阶段：AI影响人类，人类改进AI。随着算力和AI人才呈双指数级增长，超级智能与脑机接口将比预期更快到来。与其对抗或被淘汰，深度融合或许是避免物种冲突的最佳路径，但全球需立即开始严肃协调应对。
推荐理由：Sam Altman 经典长文阐述人机融合已启动，AGI 时代需全球协调应对
OpenAI：官网动态AI 评分5252 OpenAI 发布块稀疏 GPU 内核
OpenAI 发布了针对块稀疏权重网络这类较少被探索的神经网络架构的高度优化 GPU 内核。根据所选稀疏度，这些内核可比 cuBLAS 或 cuSPARSE 快数个数量级；OpenAI 已用它们在文本情感分析和文本与图像生成建模上取得 SOTA 结果。
OpenAI：官网动态AI 评分4747 OpenAI 机器人技术：从仿真到现实环境的泛化
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后，能在完成简单任务时应对环境中的意外变化，即构建闭环系统而非此前的开环系统。
OpenAI：官网动态AI 评分5656 OpenAI 发现自博弈可让 AI 自发习得对抗与控球等物理技能
OpenAI 发现自博弈（self-play）能让模拟 AI 在无人为设计环境的情况下自发习得擒抱、闪避、假动作、踢球、接球和扑球等物理技能。自博弈让环境难度始终匹配 AI 的提升水平，结合此前 Dota 2 自博弈结果，作者认为自博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI：官网动态AI 评分4040 OpenAI 发布 LOLA 算法：让智能体学会建模对手心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法考虑到其他智能体也在学习，能在迭代囚徒困境中发现针锋相对这类既自利又合作的策略。OpenAI 称这是迈向能够建模其他心智的智能体的一小步。
OpenAI：官网动态AI 评分4545 OpenAI Baselines 新增 ACKTR 与 A2C 实现
OpenAI 发布两个新的 Baselines 实现：ACKTR 和 A2C。A2C 是 A3C 的同步确定性变体，性能与之相当；ACKTR 比 TRPO 和 A2C 更具样本效率，每次更新仅比 A2C 略多计算量。
OpenAI：官网动态精选AI 评分7171 OpenAI 谈 Dota 2 成绩：自我博弈让系统从低于人类到超人水平
OpenAI 表示其 Dota 2 结果显示，在足够算力下自我博弈（self-play）可让机器学习系统从远低于人类水平跃升到超人水平。该系统在一个月内从勉强匹敌高分段选手进步到击败顶级职业选手，此后仍在继续提升；自我博弈系统中的数据会随智能体变强而自动改善，不受监督深度学习训练数据集质量上限的约束。
推荐理由：OpenAI 借 Dota 2 结果说明自我博弈为何能突破监督学习的数据上限，对理解强化学习路线有参考价值。
OpenAI：官网动态精选AI 评分7171 OpenAI 打造 Dota 2 bot 在 1v1 比赛中战胜世界顶尖职业选手
OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏，不使用模仿学习或树搜索，OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系统的一步。
推荐理由：原文说明 bot 从零自学习、不用模仿学习和树搜索，读者可据此理解其在复杂真实环境中的方法论意义。
OpenAI：官网动态AI 评分5555 OpenAI 开源 RL-Teacher，用人类反馈替代手工设计的奖励函数
OpenAI 开源 RL-Teacher，这是其通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口的开源实现。该技术最初作为迈向安全 AI 系统的一步而开发，也适用于奖励难以指定的强化学习问题。
OpenAI：官网动态AI 评分4343 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参更简单。因易用且表现良好，PPO 已成为 OpenAI 内部默认的强化学习算法。
推荐理由：OpenAI 官方宣布 PPO 算法开源，并说明其成为内部默认强化学习算法的原因，可帮助读者了解该方法的定位。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态AI 评分4747 OpenAI 开源 Baselines：发布 DQN 及其三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布 DQN 及其三个变体，其余算法将在未来数月内陆续放出。
OpenAI：官网动态AI 评分5454 OpenAI 发布完全在仿真中训练、看一次即可学会新任务的机器人系统
OpenAI 宣布创建了一个机器人系统，完全在仿真中训练并部署到实体机器人上，能够在看过任务演示一次后学会该任务。
OpenAI：官网动态AI 评分4141 OpenAI 发布 Roboschool：集成 OpenAI Gym 的开源机器人仿真软件
OpenAI 发布 Roboschool，一款用于机器人仿真的开源软件，并已集成到 OpenAI Gym 中。
OpenAI：官网动态AI 评分4646 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为情感神经元（sentiment neuron），无需情感标注数据。
OpenAI：官网动态精选AI 评分6363 OpenAI 提出进化策略（ES）可作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当，同时克服了 RL 的许多不便之处。
推荐理由：原文指出进化策略在 Atari/MuJoCo 基准上可媲美标准 RL，并克服 RL 的诸多不便，读者可借此了解另一种可扩展的优化路线。
OpenAI：官网动态AI 评分4242 OpenAI 支持 Distill 上线：一种面向机器学习成果传播的新型期刊
OpenAI 宣布支持 Distill 上线，这是一种面向机器学习成果传播的新型期刊，目标是清晰呈现机器学习结果，无论成果是新的还是已有的。
OpenAI：官网动态AI 评分4747 OpenAI 如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于给机器看的视错觉。OpenAI 展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI：官网动态AI 评分5454 OpenAI 探讨现实中的错误奖励函数问题
OpenAI 发布博文，探讨强化学习算法因奖励函数设定错误而出现意外、反直觉行为的一种失败模式，并计划具体展开该问题的表现方式。
OpenAI：官网动态AI 评分5757 OpenAI 发布 Universe 平台，用于测量和训练 AI 通用智能
OpenAI 发布 Universe，一个用于在全球的游戏、网站和其他应用上测量并训练 AI 通用智能的软件平台。
OpenAI：官网动态AI 评分5252 OpenAI 与 Microsoft 合作，大规模实验将改用 Azure 运行
OpenAI 宣布与 Microsoft 合作，将把大部分大规模实验迁移到 Azure 上运行。
OpenAI：官网动态AI 评分5353 OpenAI 参与合著论文 Concrete Problems in AI Safety
OpenAI 与 Berkeley、Stanford 研究者共同作为合著者，参与由 Google Brain 研究者主导的论文 Concrete Problems in AI Safety。论文探讨了围绕确保现代机器学习系统按预期运行的多个研究问题。
OpenAI：官网动态精选AI 评分7171 OpenAI 发布 OpenAI Gym 公测版强化学习工具包
OpenAI 发布 OpenAI Gym 公测版（public beta），这是一个用于开发和比较强化学习（RL）算法的工具包。它包含持续扩充的环境套件，覆盖模拟机器人到 Atari 游戏，并提供用于比较和复现结果的网站。
推荐理由：工具面向强化学习算法的开发与结果比较，环境覆盖模拟机器人和 Atari 游戏，可帮助读者了解可复现评测的入口。
OpenAI：官网动态精选AI 评分8383 OpenAI 宣布成立非营利人工智能研究公司
OpenAI 宣布成立，是一家非营利人工智能研究公司，目标是推动数字智能以最有可能造福全人类的方式发展。其研究不受产生财务回报的义务约束，可更专注于对人类的正面影响。
推荐理由：OpenAI 官方宣布成立并阐明非营利定位，读者可以此了解其不受财务回报约束的研究初衷。