高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
内容类型
论文研究 最新动态
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
445 条精选近 30 天 68 条共收录 2,331 条
更新
精选归档 · 第 22 页
英国 AI Security Institute：Blog精选AI 评分6363
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
OpenAI：官网动态精选AI 评分7373 OpenAI 用过程监督提升数学推理，取得新 SOTA
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现
LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。
推荐理由：作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量，并给出 tree_summarize 优于 create-and-refine 的可复用结论。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布 GPTs are GPTs 论文，初步分析大语言模型的劳动力市场影响潜力
OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models，对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败，仅标题可用，论文具体方法与结论暂无法核验。
推荐理由：OpenAI 论文标题直指大语言模型对劳动力市场影响的早期评估，适合关注 AI 就业议题的读者。
Anthropic：Transformer Circuits精选AI 评分7373 Transformer残差流中的特权基向量
研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。
推荐理由：揭示Transformer内部基依赖性的根源，帮助研究者改进模型可解释性。
Hugging Face 社区博客精选AI 评分6565 Hugging Face 发布 MTEB 大规模文本嵌入基准与排行榜
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。
推荐理由：原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组，可用于按任务挑合适的嵌入模型。
Hugging Face 社区博客精选AI 评分6969 Hugging Face 联合 Intel Labs 与 UKP Lab 发布少样本文本分类框架 SetFit
Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。
推荐理由：原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本，读者可以据此评估小样本场景下是否用它替代大模型微调。
Anthropic：Transformer Circuits精选AI 评分6565 Anthropic 发表 Toy Models of Superposition 论文，演示神经网络的特征叠加现象
Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
推荐理由：论文用小型 ReLU 网络直接演示了特征叠加现象，并给出相变和几何结构的理论解释，为理解神经元多义性提供了可参考的框架。
OpenAI：官网动态精选AI 评分6262 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft 并合成钻石工具
OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。
推荐理由：原文说明 VPT 用少量标注数据配合海量无标注视频训练模型，读者可了解这种半监督路线对训练通用智能体的参考价值。
OpenAI：官网动态精选AI 评分6666 OpenAI 发表针对代码训练大语言模型的评估研究
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）
Anthropic：Transformer Circuits精选AI 评分7676 Transformer电路逆向工程练习题集
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布论文 Language models are few-shot learners
OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI：官网动态精选AI 评分6161 OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI：官网动态精选AI 评分6060 OpenAI 发现深度学习中的深度双下降现象
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。
推荐理由：原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。
OpenAI：官网动态精选AI 评分6161 OpenAI 用机器手训练神经网络还原魔方
OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。
推荐理由：原文说明了 ADR 方法与全仿真训练思路，可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。
OpenAI：官网动态精选AI 评分6565 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。
推荐理由：原文给出人类偏好微调 GPT-2 的任务结果与标注成本，并暴露标注偏好与作者意图不一致的问题。
OpenAI：官网动态精选AI 评分6262 OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用
OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。
推荐理由：原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略，可帮助读者理解多智能体协同如何催生复杂行为。