OpenAI：官网动态·· 2019-04-23AI 评分52
OpenAI 发布 Sparse Transformer，可处理比以往长 30 倍的序列
Generative modeling with sparse transformers
AI 导读
OpenAI 开发出 Sparse Transformer，一种在文本、图像和声音等序列预测任务上创造新纪录的深度神经网络。它通过改进注意力机制的算法，能从比以往长 30 倍的序列中提取模式。
来源：OpenAI：官网动态 · openai.com