RecSys 2020 回顾：公平性与偏差、序列模型与离线评估的要点论文
RecSys 2020 于 9 月 22 日至 26 日举行，公平性与偏差成为本届重点，两场主题演讲分别聚焦社交媒体操纵与搜索推荐中的偏差，九个 session 中有两个专门讨论公平性、过滤气泡与无偏推荐。
全部 AI 动态
Eugene Yan：WritingAI 评分4242
OpenAI：官网动态AI 评分5252 OpenAI 用人类反馈强化学习训练更擅长摘要的语言模型
OpenAI 将 RLHF（人类反馈强化学习）应用于训练语言模型，使其在文本摘要任务上表现更好。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布论文 Language models are few-shot learners
OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI：官网动态精选AI 评分6161 OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI：官网动态AI 评分5555 OpenAI 发布神经语言模型的 Scaling Laws 研究
OpenAI 发布关于神经语言模型缩放定律（Scaling Laws）的论文，讨论语言模型性能随参数量、数据量和计算量变化的经验规律。
OpenAI：官网动态精选AI 评分6060 OpenAI 发现深度学习中的深度双下降现象
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。
推荐理由：原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。
OpenAI：官网动态AI 评分4343 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI：官网动态精选AI 评分6161 OpenAI 用机器手训练神经网络还原魔方
OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。
推荐理由：原文说明了 ADR 方法与全仿真训练思路，可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。
OpenAI：官网动态精选AI 评分6565 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。
推荐理由：原文给出人类偏好微调 GPT-2 的任务结果与标注成本，并暴露标注偏好与作者意图不一致的问题。
OpenAI：官网动态精选AI 评分6262 OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用
OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。
推荐理由：原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略，可帮助读者理解多智能体协同如何催生复杂行为。
OpenAI：官网动态AI 评分5252 OpenAI 与 Google 研究者合作推出 Activation Atlases 神经元交互可视化技术
OpenAI 与 Google 研究者合作创建了 activation atlases，一种可视化神经元之间交互所代表内容的新技术。随着 AI 系统被部署到越来越敏感的场景，更好地理解模型内部决策过程有助于识别弱点和调查失败原因。
OpenAI：官网动态AI 评分4646 OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性
OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果表明神经网络训练并非神秘技艺，而是可以被严格化和系统化的。
OpenAI：官网动态AI 评分5757 OpenAI 提出 iterated amplification 方法，用子任务分解指定复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过演示如何将任务分解为更简单的子任务，而非提供标注数据或奖励函数，来指定超出人类规模的复杂行为与目标。该方法尚处早期，目前仅在简单的玩具算法域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方法。
OpenAI：官网动态AI 评分5151 OpenAI 发布可逆生成模型 Glow
OpenAI 推出 Glow，一种使用可逆 1x1 卷积的可逆生成模型，扩展了此前可逆生成模型的工作并简化了架构。模型可生成逼真的高分辨率图像，支持高效采样，并能发现可用于操纵数据属性的特征。OpenAI 同时发布了模型代码和在线可视化工具供探索和构建。
OpenAI：官网动态精选AI 评分6666 OpenAI 用单条人类演示训练智能体在 Montezuma's Revenge 上达到 74500 分
OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：原文说明从单条人类演示中选取起始状态再用 PPO 优化得分的算法思路，读者可以理解这一强化学习方法的可迁移做法。
OpenAI：官网动态精选AI 评分7676 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布分析，显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长，远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍，而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成，若趋势延续，需为远超当今系统能力的影响做好准备。
推荐理由：OpenAI 用自己的分析给出 2012 年以来最大 AI 训练算力 3.4 个月翻倍、增长超 30 万倍的数据，读者可据此对照摩尔定律理解算力趋势。
OpenAI：官网动态AI 评分5151 OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
OpenAI：官网动态AI 评分4343 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时位置相反一侧的物体。
OpenAI：官网动态AI 评分4343 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务学到的最终参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率与性能相近。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态AI 评分4747 OpenAI 机器人技术：从仿真到现实环境的泛化
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后，能在完成简单任务时应对环境中的意外变化，即构建闭环系统而非此前的开环系统。
OpenAI：官网动态AI 评分5656 OpenAI 发现自博弈可让 AI 自发习得对抗与控球等物理技能
OpenAI 发现自博弈（self-play）能让模拟 AI 在无人为设计环境的情况下自发习得擒抱、闪避、假动作、踢球、接球和扑球等物理技能。自博弈让环境难度始终匹配 AI 的提升水平，结合此前 Dota 2 自博弈结果，作者认为自博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI：官网动态AI 评分4040 OpenAI 发布 LOLA 算法：让智能体学会建模对手心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法考虑到其他智能体也在学习，能在迭代囚徒困境中发现针锋相对这类既自利又合作的策略。OpenAI 称这是迈向能够建模其他心智的智能体的一小步。
OpenAI：官网动态AI 评分4343 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态AI 评分5454 OpenAI 发布完全在仿真中训练、看一次即可学会新任务的机器人系统
OpenAI 宣布创建了一个机器人系统，完全在仿真中训练并部署到实体机器人上，能够在看过任务演示一次后学会该任务。
OpenAI：官网动态AI 评分4646 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为情感神经元（sentiment neuron），无需情感标注数据。
OpenAI：官网动态精选AI 评分6363 OpenAI 提出进化策略（ES）可作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当，同时克服了 RL 的许多不便之处。
推荐理由：原文指出进化策略在 Atari/MuJoCo 基准上可媲美标准 RL，并克服 RL 的诸多不便，读者可借此了解另一种可扩展的优化路线。
OpenAI：官网动态AI 评分5353 OpenAI 参与合著论文 Concrete Problems in AI Safety
OpenAI 与 Berkeley、Stanford 研究者共同作为合著者，参与由 Google Brain 研究者主导的论文 Concrete Problems in AI Safety。论文探讨了围绕确保现代机器学习系统按预期运行的多个研究问题。