跳到正文
2020年4月30日周四
  1. OpenAI:官网动态66

    OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码

    OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。

    推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。

2019年11月5日周二
  1. OpenAI:官网动态80

    OpenAI 发布 GPT-2 最大版本 1.5B 参数模型及代码与权重

    OpenAI 发布 GPT-2 分阶段发布的最终版本,即 1.5B 参数的最大版本,同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布,但坚持按原计划完成分阶段发布,为社区提供一个完整的分阶段发布流程案例,并继续与 AI 社区探讨负责任发布。

    推荐理由:OpenAI 以完整分阶段发布作为案例放出 1.5B 版本,读者可借此了解负责任发布的实际过程。

2019年8月20日周二
  1. OpenAI:官网动态70

    OpenAI 发布 774M 参数版 GPT-2 并分享分阶段发布经验

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版,并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作,并发布关于与 AI 研究社区协调发布规范经验的技术报告。

    推荐理由:原文交代了 GPT-2 分阶段发布策略的推进节奏,并附带模型共享法律协议与发布规范报告,可了解负责任发布实践。

2019年4月25日周四
  1. OpenAI:官网动态57

    OpenAI 发布深度神经网络 MuseNet,可生成 10 种乐器、4 分钟长的多风格乐曲

    OpenAI 发布 MuseNet,一个可生成 10 种乐器、最长 4 分钟乐曲的深度神经网络,能融合从乡村乐到 Mozart、Beatles 等多种风格。模型未被显式编程音乐规则,而是通过在数十万 MIDI 文件上预测下一个 token 自主学习和声、节奏与风格,采用与 GPT-2 相同的大规模 transformer 无监督技术。

2019年4月23日周二
2018年7月30日周一
2018年6月25日周一
2018年6月11日周一
  1. OpenAI:官网动态75

    OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果

    OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究。

    推荐理由:原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果。

2017年8月11日周五
  1. OpenAI:官网动态71

    OpenAI 打造 Dota 2 bot 在 1v1 比赛中战胜世界顶尖职业选手

    OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系统的一步。

    推荐理由:原文说明 bot 从零自学习、不用模仿学习和树搜索,读者可据此理解其在复杂真实环境中的方法论意义。

2017年7月20日周四
  1. OpenAI:官网动态73

    OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)

    OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。因易用且表现良好,PPO 已成为 OpenAI 内部默认的强化学习算法。

    推荐理由:OpenAI 官方宣布 PPO 算法开源,并说明其成为内部默认强化学习算法的原因,可帮助读者了解该方法的定位。