语言模型评估中的多项选择归一化
自回归语言模型（GPT-3、GPT-Neo、GPT-J 等）的多项选择任务评估存在多种实现路径。文章系统梳理了当前主流的归一化（Normalization）方法，针对模型在不同选项上的概率计算方式、长度偏差修正及分数标准化技术进行详细阐述，为统一语言模型评测标准提供方法论参考。
#论文/研究
EleutherAI：Blog
OpenAI：官网动态AI 评分5454 OpenAI 发布《Summarizing books with human feedback》研究
OpenAI 发布《Summarizing books with human feedback》研究，主题是扩展对难以评估任务的 AI 系统的人类监督。来源为官网 RSS 摘要，正文未提供更多实验细节。
OpenAI：官网动态AI 评分5959 OpenAI 发布 TruthfulQA 基准，衡量模型模仿人类虚假说法的程度
OpenAI 在官网发布 TruthfulQA，一个衡量语言模型是否会模仿人类常见虚假说法的基准。
EleutherAI：Blog RoPE 与 GPT 学习式位置编码的下游评估对比
该评估系统对比了旋转位置编码（RoPE）与 GPT 类学习式位置编码在下游任务中的性能表现，通过多维度基准测试分析两种位置编码机制的应用差异，为 Transformer 模型架构中位置编码方案的选择提供实证依据。
OpenAI：官网动态精选AI 评分6666 OpenAI 发表针对代码训练大语言模型的评估研究
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）
Anthropic：Transformer CircuitsAI 评分4343 Transformer Circuit Videos
研究团队发布了一系列关于逆向工程神经网络的早期思考视频。这些视频旨在与同行分享非正式、初步的研究想法，内容相当于研究组会议上的早期成果报告。视频中的观点较为粗糙，可能存在错误，主要面向积极思考神经网络逆向工程的研究者。团队强调，自录制以来其想法已显著演进，且前几个视频的内容已被后续更完善的论文《A Mathematical Framework for Transformer Circuits》所取代。视频合集已发布于YouTube平台。
Anthropic：Transformer Circuits精选AI 评分7676 Transformer电路逆向工程练习题集
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。
OpenAI：官网动态AI 评分5757 OpenAI 研究：在精选小数据集上微调可改善语言模型行为
OpenAI 发布研究，发现通过对小型精选数据集进行微调，可以改善语言模型在特定行为价值方面的表现。
EleutherAI：Blog 关于 OpenAI API 模型规模的探讨
研究团队利用 eval harness 评估框架，通过对比 OpenAI API 模型在标准测试集上的性能表现，成功反向推算出其模型参数规模。该方法基于模型能力与参数量之间的相关性，分析了包括 GPT 系列在内的闭源模型在各项任务中的得分差异，揭示了 OpenAI 未公开披露的模型大小信息，为理解这些模型的实际规模与能力边界提供了量化依据。
EleutherAI：Blog 评估 GPT-3 上不同 Few-shot 描述提示的效果
该研究在 GPT-3 模型上系统评估了不同 Few-shot 描述提示对性能的影响，通过对比多种少样本提示模板，分析了提示设计差异如何改变模型输出质量。实验显示，描述方式的细微差别会导致 GPT-3 在任务表现上产生显著变化，为理解大语言模型的少样本学习机制及优化提示工程策略提供了实证参考。
EleutherAI：Blog 在下游任务上微调模型
研究团队对GPT-Neo模型开展下游任务微调实验，利用eval harness评测体系进行针对性训练，系统观测微调过程对其性能表现产生的具体影响。实验通过调整模型参数适配特定任务，评估预训练模型在下游场景中的能力变化与适应性表现，为理解微调对模型性能的优化效果提供实证数据支撑。
EleutherAI：Blog 激活函数消融研究
针对类 GPT 自回归语言模型开展激活函数消融实验，系统评估不同激活函数对模型性能的影响。通过对比分析各类激活函数在自回归架构中的表现差异，检验其对模型表达能力、训练稳定性及生成质量的作用机制，为大语言模型的激活函数选择与架构优化提供实验依据。
EleutherAI：Blog 旋转位置编码（RoPE）：一场相对的革命
旋转位置编码（RoPE）作为一种新型位置编码技术，统一了绝对位置与相对位置编码方法。该技术突破了传统位置编码的局限，在保持绝对位置信息的同时实现了相对位置感知能力。测试验证表明，这种编码方案在模型性能和位置外推方面展现出优势，为大语言模型的位置表示策略提供了新的技术路径。
OpenAI：官网动态AI 评分5959 OpenAI 发现 CLIP 中的多模态神经元
OpenAI 发现 CLIP 中存在对同一概念以字面、符号或概念形式呈现时都会响应的多模态神经元。这一现象可能解释 CLIP 对概念的特殊视觉呈现仍能准确分类的原因，也是理解 CLIP 及类似模型习得的关联和偏差的重要一步。
Eugene Yan：WritingAI 评分4242 RecSys 2020 回顾：公平性与偏差、序列模型与离线评估的要点论文
RecSys 2020 于 9 月 22 日至 26 日举行，公平性与偏差成为本届重点，两场主题演讲分别聚焦社交媒体操纵与搜索推荐中的偏差，九个 session 中有两个专门讨论公平性、过滤气泡与无偏推荐。
OpenAI：官网动态AI 评分5252 OpenAI 用人类反馈强化学习训练更擅长摘要的语言模型
OpenAI 将 RLHF（人类反馈强化学习）应用于训练语言模型，使其在文本摘要任务上表现更好。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布论文 Language models are few-shot learners
OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI：官网动态精选AI 评分6161 OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI：官网动态AI 评分5555 OpenAI 发布神经语言模型的 Scaling Laws 研究
OpenAI 发布关于神经语言模型缩放定律（Scaling Laws）的论文，讨论语言模型性能随参数量、数据量和计算量变化的经验规律。
OpenAI：官网动态精选AI 评分6060 OpenAI 发现深度学习中的深度双下降现象
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。
推荐理由：原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。
OpenAI：官网动态AI 评分4343 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI：官网动态精选AI 评分6161 OpenAI 用机器手训练神经网络还原魔方
OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。
推荐理由：原文说明了 ADR 方法与全仿真训练思路，可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。
OpenAI：官网动态精选AI 评分6565 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。
推荐理由：原文给出人类偏好微调 GPT-2 的任务结果与标注成本，并暴露标注偏好与作者意图不一致的问题。
OpenAI：官网动态精选AI 评分6262 OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用
OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。
推荐理由：原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略，可帮助读者理解多智能体协同如何催生复杂行为。
OpenAI：官网动态AI 评分5252 OpenAI 与 Google 研究者合作推出 Activation Atlases 神经元交互可视化技术
OpenAI 与 Google 研究者合作创建了 activation atlases，一种可视化神经元之间交互所代表内容的新技术。随着 AI 系统被部署到越来越敏感的场景，更好地理解模型内部决策过程有助于识别弱点和调查失败原因。
OpenAI：官网动态AI 评分4646 OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性
OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果表明神经网络训练并非神秘技艺，而是可以被严格化和系统化的。
OpenAI：官网动态AI 评分5757 OpenAI 提出 iterated amplification 方法，用子任务分解指定复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过演示如何将任务分解为更简单的子任务，而非提供标注数据或奖励函数，来指定超出人类规模的复杂行为与目标。该方法尚处早期，目前仅在简单的玩具算法域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方法。
OpenAI：官网动态AI 评分5151 OpenAI 发布可逆生成模型 Glow
OpenAI 推出 Glow，一种使用可逆 1x1 卷积的可逆生成模型，扩展了此前可逆生成模型的工作并简化了架构。模型可生成逼真的高分辨率图像，支持高效采样，并能发现可用于操纵数据属性的特征。OpenAI 同时发布了模型代码和在线可视化工具供探索和构建。
OpenAI：官网动态精选AI 评分6666 OpenAI 用单条人类演示训练智能体在 Montezuma's Revenge 上达到 74500 分
OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：原文说明从单条人类演示中选取起始状态再用 PPO 优化得分的算法思路，读者可以理解这一强化学习方法的可迁移做法。
OpenAI：官网动态精选AI 评分7676 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布分析，显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长，远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍，而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成，若趋势延续，需为远超当今系统能力的影响做好准备。
推荐理由：OpenAI 用自己的分析给出 2012 年以来最大 AI 训练算力 3.4 个月翻倍、增长超 30 万倍的数据，读者可据此对照摩尔定律理解算力趋势。
OpenAI：官网动态AI 评分5151 OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
OpenAI：官网动态AI 评分4343 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时位置相反一侧的物体。
OpenAI：官网动态AI 评分4343 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务学到的最终参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率与性能相近。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态AI 评分4747 OpenAI 机器人技术：从仿真到现实环境的泛化
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后，能在完成简单任务时应对环境中的意外变化，即构建闭环系统而非此前的开环系统。
OpenAI：官网动态AI 评分5656 OpenAI 发现自博弈可让 AI 自发习得对抗与控球等物理技能
OpenAI 发现自博弈（self-play）能让模拟 AI 在无人为设计环境的情况下自发习得擒抱、闪避、假动作、踢球、接球和扑球等物理技能。自博弈让环境难度始终匹配 AI 的提升水平，结合此前 Dota 2 自博弈结果，作者认为自博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI：官网动态AI 评分4040 OpenAI 发布 LOLA 算法：让智能体学会建模对手心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法考虑到其他智能体也在学习，能在迭代囚徒困境中发现针锋相对这类既自利又合作的策略。OpenAI 称这是迈向能够建模其他心智的智能体的一小步。
OpenAI：官网动态AI 评分4343 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
最多提供 50 页，更早的内容请使用搜索或主题页。