技术方向
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
571 条精选近 30 天 39 条共收录 2,624 条
ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。
推荐理由：ARC Prize 团队复盘上线首日数据，并正面回应算力限制、奖金规模和解题价值三项质疑，可看到办赛方的评判逻辑。
ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛，目标是击败 ARC-AGI 评测并开源解决方案，由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出，当前 SOTA 仅约 34%，对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理，希望通过激励开源研究提升新想法的产生速度。
推荐理由：官方说明了设奖动机和 ARC-AGI 为何未被刷分，读者可以了解百万美元奖金背后的开源 AGI 主张。
研究团队成功将稀疏自编码器方法扩展至 Claude 3 Sonnet 模型，从中提取出高质量、可解释的抽象特征。这些特征具有多语言、多模态特性，并能连接同一概念的抽象与具体实例，例如识别代码中的安全漏洞以及关于漏洞的抽象讨论。研究发现的特征涵盖名人、城市、代码类型签名等多个领域，其中部分特征与AI安全高度相关，涉及代码后门、偏见、欺骗、权力寻求及危险内容等潜在风险。研究通过缩放定律指导稀疏自编码器训练，证实了该方法在大规模生产模型上的可行性，为理解大模型内部表征提供了新工具。
推荐理由：揭示大模型内部可解释特征，对AI安全研究和模型调试有重要参考价值。
deepseek-chat 模型升级为 DeepSeek-V2-0517，IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%，API 端“system”区域指令跟随能力同步优化，增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升，内部测试集解析率从 78% 提高至 85%，引入恰当正则表达式后进一步升至 97%。
推荐理由：DeepSeek V2 的指令跟随从及格线拉到优秀线，IFEval 提升近 14 个点，沉浸式翻译和 RAG 体验会有明显改善，做应用层的值得试一下。
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
Mistral 发布最新旗舰模型 Mistral Large，称其在常用基准上仅次于 GPT-4，是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言，具备 32K token 上下文窗口、function calling 和 JSON 输出模式，可在 la Plateforme 与 Azure 使用。
推荐理由：官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式，读者可据此评估两个新模型在性能与成本间的取舍。
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。
推荐理由：揭示Transformer内部基依赖性的根源，帮助研究者改进模型可解释性。
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。
Hugging Face 发布教程，讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式，原文正文未能抓取，仅标题可用。
推荐理由：原文系统讲解 Transformers 中不同文本解码方法的用法与差异，读者可按需选择生成策略。