OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码
OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。
推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。
OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。
推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。
OpenAI 发布 GPT-2 分阶段发布的最终版本,即 1.5B 参数的最大版本,同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布,但坚持按原计划完成分阶段发布,为社区提供一个完整的分阶段发布流程案例,并继续与 AI 社区探讨负责任发布。
推荐理由:OpenAI 以完整分阶段发布作为案例放出 1.5B 版本,读者可借此了解负责任发布的实际过程。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版,并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作,并发布关于与 AI 研究社区协调发布规范经验的技术报告。
推荐理由:原文交代了 GPT-2 分阶段发布策略的推进节奏,并附带模型共享法律协议与发布规范报告,可了解负责任发布实践。
OpenAI 发布 MuseNet,一个可生成 10 种乐器、最长 4 分钟乐曲的深度神经网络,能融合从乡村乐到 Mozart、Beatles 等多种风格。模型未被显式编程音乐规则,而是通过在数十万 MIDI 文件上预测下一个 token 自主学习和声、节奏与风格,采用与 GPT-2 相同的大规模 transformer 无监督技术。
OpenAI 开发出 Sparse Transformer,一种在文本、图像和声音等序列预测任务上创造新纪录的深度神经网络。它通过改进注意力机制的算法,能从比以往长 30 倍的序列中提取模式。
OpenAI 宣布训练出一个仿人机械手,能够以前所未有的灵巧度操控物理物体。
OpenAI 由五个神经网络组成的 OpenAI Five 已开始在与 Dota 2 业余人类战队的对战中取胜。该团队由五个神经网络构成,此次进展标志着其在 Dota 2 项目上首次战胜人类业余队伍。
OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究。
推荐理由:原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果。
OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系统的一步。
推荐理由:原文说明 bot 从零自学习、不用模仿学习和树搜索,读者可据此理解其在复杂真实环境中的方法论意义。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。因易用且表现良好,PPO 已成为 OpenAI 内部默认的强化学习算法。
推荐理由:OpenAI 官方宣布 PPO 算法开源,并说明其成为内部默认强化学习算法的原因,可帮助读者了解该方法的定位。