OpenAI 如何塑造 ChatGPT 的行为,以及由谁来决定?
OpenAI 正在澄清 ChatGPT 行为的塑造方式,并公布改进计划:让用户拥有更多定制空间,同时在这些决策领域引入更多公众意见。
OpenAI 正在澄清 ChatGPT 行为的塑造方式,并公布改进计划:让用户拥有更多定制空间,同时在这些决策领域引入更多公众意见。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并纠正错误假设。
推荐理由:OpenAI 官方宣布订阅计划,读者可以据此了解 ChatGPT 的商业化入口。
OpenAI 发布了一个经过训练的分类器,用于区分 AI 生成文本和人类撰写文本。
OpenAI 官方宣布与 Microsoft 延长双方的合作关系。
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站,研究大语言模型可能被滥用于虚假信息活动的风险。合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会,并基于一年多的研究共同撰写报告。报告梳理了语言模型若被用于增强虚假信息活动对信息环境构成的威胁,并提出分析潜在缓解措施的框架。
OpenAI 发布 Point-E,一个根据复杂提示词生成 3D 点云的系统。抓取未能获取正文,更多细节以原文链接 https://openai.com/index/point-e 为准。
OpenAI 发布新版嵌入向量模型,官方称其在能力、成本效益和易用性上均有显著提升。原文未披露模型名称、版本号、参数规模及具体价格等细节。
OpenAI 训练了名为 ChatGPT 的模型,能以对话方式交互。对话格式让 ChatGPT 可以回答追问、承认错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方首次介绍 ChatGPT,说明对话式交互在追问、纠错和拒答上的设计意图,可作为理解该产品起点的一手材料。
OpenAI 宣布 DALL·E API 即日起开放公测,开发者可以开始使用该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可以直接据此评估是否将图像生成接入自己的应用。
OpenAI 宣布 DALL·E 取消候补名单,新用户可以立即开始生成图像。官方表示这一更广泛的开放来自部署中积累的经验和安全系统的改进。
推荐理由:原文说明开放注册的前提来自部署经验与安全系统改进,读者可以据此理解其放开访问的背景。
OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。
推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。
OpenAI 为 DALL·E 推出 outpainting 功能,可在原图之外继续扩展画面,支持任意尺寸的图像创作,用于延展创意并讲述更完整的故事。
OpenAI 发布新版内容审核工具 Moderation 端点,改进此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
OpenAI 宣布 DALL·E 开放测试,未来几周内将从候补名单邀请 100 万人使用。用户每月可获得免费生成额度,额外额度按 115 次生成 15 美元的价格购买。
推荐理由:原文明确了邀请规模和付费定价,读者可以了解 DALL·E 测试版的获取方式与使用成本。
OpenAI 通过 Video PreTraining(VPT)在大量无标注人类 Minecraft 游玩视频上训练神经网络,仅使用少量承包商标注数据,微调后模型可合成钻石工具,这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口,是迈向通用计算机操作智能体的一步。
推荐理由:原文说明 VPT 用少量标注数据配合海量无标注视频训练模型,读者可了解这种半监督路线对训练通用智能体的参考价值。
OpenAI 训练了“critique-writing”模型,用于描述摘要中的缺陷;人类评估者在看到模型批评后,发现摘要缺陷的频率大幅提高。更大模型的自批评能力更强,规模对批评写作的提升超过摘要写作。这显示出用 AI 系统辅助人类监督 AI 系统完成困难任务的潜力。
OpenAI 发布文章梳理大型神经网络的训练技术,指出训练这类模型是一项困难的工程与研究挑战,需要编排一整个 GPU 集群来完成单次同步计算。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践,适用于任何开发或部署大语言模型的组织。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户已累计生成超 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
OpenAI 发布题为 Hierarchical text-conditional image generation with CLIP latents 的研究,提出基于 CLIP 潜变量的分层文本条件图像生成方法。正文抓取失败,仅标题可用,细节以原文页面为准。
OpenAI 发布 DALL•E 2 研究版本,支持通过自然语言指令生成和编辑图像。作者认为这标志着计算机界面新趋势——自然语言交互,并指出与 Copilot 不同,DALL•E 2 能独立完成完整作品,可能率先冲击创意工作而非体力劳动,预示 AI 对劳动力市场的潜在影响。团队计划今年夏天正式产品化,当前采用渐进式部署策略以评估风险。
OpenAI 发布新版 GPT-3 和 Codex,新增对现有文本进行编辑或插入内容的能力,而不再只是补全已有文本。
OpenAI 构建了一个基于 Lean 的神经定理证明器,能求解多种有挑战性的高中奥赛题,包括 AMC12 和 AIME 竞赛题,以及两道由 IMO 改编的题目。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练,现已作为 OpenAI API 的默认语言模型部署。
推荐理由:原文说明了对齐训练带来的意图遵循与真实性改进,以及 InstructGPT 成为 API 默认模型这一关键落地变化。
OpenAI 在 API 中推出 embeddings 新端点,用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。
推荐理由:原文给出了新的 embeddings 端点及其适用任务,读者可据此判断能否用于搜索、聚类或分类类需求。
OpenAI 对 GPT-3 进行微调,得到 WebGPT,使其借助基于文本的网络浏览器更准确地回答开放式问题,以提升语言模型的事实准确性。
OpenAI 宣布可为应用定制 GPT-3,通过微调(fine-tuning)适配自身场景。官方称只需一条命令即可完成微调。
推荐理由:OpenAI 官方宣布以单条命令即可对 GPT-3 做应用定制微调,降低了把基座模型适配到具体业务场景的门槛。
OpenAI 宣布其 API 取消等候名单,开放更广泛的使用。OpenAI 表示,更广泛的开放得益于安全方面的进展。
推荐理由:原文说明开放原因是安全性进展,读者可以了解 OpenAI API 使用门槛的降低节点。
OpenAI 训练了一个求解小学数学应用题的系统,准确率接近微调 GPT-3 模型的两倍。在一组 9-12 岁儿童测试中,儿童得分 60%,该系统在同一批题目上得分 55%。
OpenAI 发布《Summarizing books with human feedback》研究,主题是扩展对难以评估任务的 AI 系统的人类监督。来源为官网 RSS 摘要,正文未提供更多实验细节。
OpenAI 在官网发布 TruthfulQA,一个衡量语言模型是否会模仿人类常见虚假说法的基准。
OpenAI 发布改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试版形式开放。
推荐理由:OpenAI 官方宣布 Codex 改进版上线 API 私测,读者可以据此了解自然语言转代码能力的开放入口。
OpenAI 发布 Triton 1.0,一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码,多数情况下效率与专家手写代码相当。
推荐理由:官方发布口径直接点明了 Triton 的核心价值,让无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 发布论文《Evaluating large language models trained on code》,主题是在代码上训练的大语言模型的评估。(仅标题可用,正文抓取失败)
OpenAI 发布研究,发现通过对小型精选数据集进行微调,可以改善语言模型在特定行为价值方面的表现。
研究团队利用 eval harness 评估框架,通过对比 OpenAI API 模型在标准测试集上的性能表现,成功反向推算出其模型参数规模。该方法基于模型能力与参数量之间的相关性,分析了包括 GPT 系列在内的闭源模型在各项任务中的得分差异,揭示了 OpenAI 未公开披露的模型大小信息,为理解这些模型的实际规模与能力边界提供了量化依据。
OpenAI 宣布已有超过 300 款应用通过其 API 接入 GPT-3,用于提供搜索、对话、文本补全等高级 AI 功能。这些应用基于 GPT-3 构建下一代 AI 能力。
OpenAI 发现 CLIP 中存在对同一概念以字面、符号或概念形式呈现时都会响应的多模态神经元。这一现象可能解释 CLIP 对概念的特殊视觉呈现仍能准确分类的原因,也是理解 CLIP 及类似模型习得的关联和偏差的重要一步。
OpenAI 将 Kubernetes 集群扩展至 7,500 节点,为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施,同时支持小规模快速迭代研究。
OpenAI 宣布训练出神经网络 DALL·E,可根据自然语言文本描述生成图像,覆盖广泛可用自然语言表达的概念。
推荐理由:OpenAI 官方宣布文本生成图像模型 DALL·E,读者可据此了解文生图方向的早期源头。