Jakub 与 Szymon
OpenAI 高层公开致谢首席科学家 Jakub Pachocki 与 Szymon Sidor，二人多次联手攻克被认为不可能的技术难题，主导 Dota RL 扩展、GPT-4 预训练及推理突破，被形容为“不知疲倦”的黄金搭档。
推荐理由：Sam Altman 揭秘 OpenAI 核心科学家与关键技术突破历程
#数据/训练
Sam Altman：Blog精选 Together AI 研究与产品博客AI 评分6060 Together Instant Clusters 正式商用，提供自助式 NVIDIA Hopper 和 Blackwell GPU 集群
Together AI 宣布 Together Instant Clusters 正式商用，提供自助、API 优先的 GPU 集群开通，从单节点 8 卡扩展到数百卡多节点，支持 NVIDIA Hopper 和 Blackwell GPU，可在分钟级完成配置并选择 K8s 或 Slurm 编排。
Hugging Face 社区博客AI 评分4646 SandboxAQ 开源 SAIR 数据集：500 万+ AI 生成蛋白质-配体 3D 结构加速药物研发
SandboxAQ 在 Hugging Face 上免费开放 SAIR 数据集，包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据，采用 CC BY 4.0 许可。
BAIR：Berkeley AI Research BlogAI 评分4848 word2vec 究竟学到了什么？BAIR 给出闭式学习理论
BAIR 新论文证明，在若干温和近似下 word2vec 的学习问题可化简为无权重最小二乘矩阵分解，梯度流动态有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。
BAIR：Berkeley AI Research Blog word2vec究竟学到了什么？
本研究提出了word2vec学习机制的完整定量理论，证明其在实际条件下等价于无加权最小二乘矩阵分解。梯度流动力学具有闭式解，最终词嵌入即为PCA结果。从小初始化开始时，模型通过离散步骤逐次学习正交线性子空间（概念），递增嵌入矩阵的秩。这些潜在特征对应由词共现概率和单字概率等可测量语料统计量决定的矩阵顶部特征向量。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 梳理开放权重 AI 系统的风险管理方法
英国 AI Security Institute 发布博文，讨论日益强大的开放权重 AI 系统的风险管理方法，涵盖模型内置、脚手架和流程三类策略，如训练数据过滤、防篡改微调、模型溯源、全权限审计和分阶段部署。
Andrej Karpathy@karpathy精选推荐理由：Karpathy提出LLMification概念，将教科书重构为LLM训练数据的新范式
LMSYS Blog gpt-oss MXFP4 微调和部署：ModelOpt + SGLang（8月29日更新）
OpenAI 开源模型 gpt-oss 原生采用 MXFP4 量化，但社区长期缺乏针对该低精度格式的训练支持。NVIDIA 推出基于 Model Optimizer 的量化感知训练（QAT）方案，允许在 Blackwell、Hopper、Ampere 及 Ada 等常见 GPU 上直接微调模型，无需转换为 BF16 而牺牲性能。实测显示，经 QAT 微调的 gpt-oss-20b 在多语言推理任务中通过率从 16% 提升至 100%，在安全提示识别任务中从 30% 优化至 97%。微调后的模型可通过 SGLang 部署，保持 MXFP4 格式的推理速度与内存优势。
Yann LeCun@ylecun引用Samee Ur Rehman@sameeurehmanOne of the first pruning methods for neural nets came in 1989: Optimal Brain Damage by @ylecun et al. “We … derive a class of prac- tical and nearly optimal schemes for adapting the size of a neural network.” They pruned weights with low 2nd-derivative of the loss. https://t.co/WzIDQExX87
Hugging Face 社区博客AI 评分5858 NVIDIA 发布 600 万条多语言推理数据集 Nemotron Post-Training Dataset v2
NVIDIA 发布 Nemotron Post-Training Dataset v2，将此前英文推理数据翻译成法语、西班牙语、德语、意大利语和日语五种语言，共约 600 万条样本。
Anthropic：Alignment Science BlogAI 评分5050 Anthropic 通过预训练数据过滤降低模型 CBRN 有害能力
Anthropic 用分类器识别并移除预训练数据中的 CBRN 有害内容，从头预训练模型后，中等规模模型在有害能力评测上的表现相对随机基线下降 33%，从 33.7±0.4% 降至 30.8±0.4%，而 MMLU、代码和散文等标准基准未见显著下降。该研究测试了微调宪法分类器、提示宪法分类器、Holdout Loss、FastText 和命名实体字符串匹配等 6 种分类方法。
Hugging Face 社区博客精选AI 评分7272 Hugging Face 发布开源无代码工具 AI Sheets，可用开放模型构建和丰富数据集
Hugging Face 发布开源无代码工具 AI Sheets，用类似电子表格的界面通过 AI 模型构建、转换和丰富数据集，可本地部署或部署在 Hub 上，支持通过 Inference Providers 使用 Hub 上数千个开放模型，包括 OpenAI 的 gpt-oss。
推荐理由：官方开源的无代码数据处理工具，读者可以据此了解如何用电子表格界面做数据生成、分类和模型对比等任务。
Jim Fan@DrJimFan关注 FSD Scaling Law 及涌现能力阈值，这是全球唯一的物理数据飞轮。Tesla 正训练参数量约 10 倍的新 FSD 模型，视频压缩损失大幅改进，顺利的话下月底发布。
引用Elon Musk@elonmuskTesla is training a new FSD model with ~10X params and a big improvement to video compression loss. Probably ready for public release end of next month if testing goes well.
- Jim Fan@DrJimFan精选引用Elon Musk@elonmusk
@DrJimFan 特斯拉已经拥有这个功能好几年了。用于创建不寻常的训练样本（例如近乎正面碰撞），即使现场有800万辆车也需要补充数据，尤其是随着我们的汽车变得越来越安全，危险情况变得非常罕见。
推荐理由：Jim Fan 指出物理 AI 评估难题，提出神经网络驱动的 Sim 2.0 数据飞轮方案
OpenAI Developers精选AI 评分6060 OpenAI Cookbook 教程：用 Hugging Face Transformers 微调 gpt-oss
OpenAI 开发者 Cookbook 发布教程，讲解如何结合 gpt-oss 与 Hugging Face Transformers 进行微调。文章由 Edward Beeching、Quentin Gallouédec 和 Lewis Tunstall 撰写，并从大型推理模型（如 OpenAI o3）通过生成思维链提升准确性的背景切入。
推荐理由：官方 Cookbook 教程给出用 Hugging Face Transformers 微调 gpt-oss 的具体路径，适合需要本地定制推理模型的开发者参考。
EleutherAI：Blog 注意力探针
提出一种将注意力机制引入线性探针的新方法。传统线性探针通过训练简单分类器分析神经网络内部表征，该技术引入可学习的注意力权重，使探针能够动态聚焦输入中的关键特征或特定 token，替代全局池化操作。这种方法提升了对模型决策过程的细粒度解释能力，有助于精准定位 Transformer 架构中影响预测的关键信息路径，为大语言模型的可解释性研究提供了更强大的分析工具。
Saining Xie@sainingxie引用Lucas Beyer (bl16)@giffmanaOk this makes me super happy. The "NoFilter" work, paper, and advocacy that @angelinepouget and I argued so hard for is bearing fruit! Looks like it made MetaCLIP team massively change direction for their just released MetaCLIP2. This is now TheRightWay™, and thanks for the prominent ack in the paper🤗 Very eager to dig into that dataset!
字节 Seed：Research Papers Seed-Prover：面向自动定理证明的深度与广度推理
Seed-Prover是基于引理的全证明推理模型，支持根据Lean形式验证反馈、已证引理及自我总结迭代优化证明，并采用三种测试时推理策略实现深度与广度兼顾的推理。该系统在形式化IMO历史题目中完成78.1%，在MiniF2F上实现饱和，在PutnamBench上突破50%，大幅领先此前最优水平。针对Lean缺乏几何支持的问题，团队同步推出Seed-Geometry引擎。该系统参加IMO 2025竞赛，在6道题目中完整证明5道。
Modal 官方工程博客AI 评分6060 Modal 推出 GPU 内存快照，GPU 工作负载冷启动最快提速 10x
Modal 发布 GPU 内存快照功能（alpha），基于 CUDA checkpoint/restore API（570 和 575 分支驱动）将 GPU 状态一并纳入快照，Function 冷启动最多提速 10x。
TensorZero：实验与工程博客AI 评分5454 TensorZero 实验：程序化数据筛选蒸馏小模型，推理成本最高降 30 倍
TensorZero 发布实验报告，用 GPT-4.1 的成功对话微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini。
Hugging Face 社区博客精选AI 评分6161 Hugging Face 推出 PyArrow 与 Pandas 的 Parquet 内容定义分块（CDC）特性
Hugging Face 宣布 Parquet Content-Defined Chunking（CDC）现已在 PyArrow 和 Pandas 中可用，配合 Xet 存储层只上传或下载变化的数据块，降低 Parquet 文件传输和存储成本。
推荐理由：原文给出 CDC 在增删列、插入删除行等场景下的实测传输量对比和启用方法，读者可直接迁移到自己的数据集上传流程。
Anthropic：Alignment Science Blog精选AI 评分7272 Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向
Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。
推荐理由：论文展示了看似无关的模型生成数据也能传递行为特质，为依赖过滤的蒸馏训练流程提示了一类难以消除的风险。
Hugging Face 社区博客AI 评分5656 Hugging Face 解读 Arc Virtual Cell Challenge 与 STATE 基线模型
Hugging Face 发文为机器学习工程师解读 Arc Institute 的 Virtual Cell Challenge，目标是训练模型预测 CRISPR 沉默基因后对（部分未见）细胞类型的影响，即上下文泛化任务。
AI as Normal TechnologyAI 评分6262 AI 可能反而拖慢科学进步：生产-进步悖论分析
尽管论文发表量每12年翻一番、研发投入四倍增长，但科学进步速度并未同步提升，甚至放缓。AI的引入可能加剧这一“生产-进步悖论”：它加速论文产出，却无法解决根本瓶颈——如对错误理论的依赖和人类理解的缺失。若不调整激励与资助机制，单纯用AI加速生产只会让科学系统进一步失衡。
- Yann LeCun@ylecun
Micah Goldblum 指出，batch size 为 1 的无动量 vanilla SGD（入门 ML 的首个优化器）在 LLM 预训练中，per-FLOP 速度几乎与 AdamW 相当。
引用Micah Goldblum@micahgoldblum🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is virtually as fast as AdamW for LLM pretraining on a per-FLOP basis? 📜 1/n https://t.co/pE24dfjjlK
- Saining Xie@sainingxie
对于所有任务中稳定训练的三个最重要超参数是 lr、bs 和 beta2。随着时间推移，我们已经建立了关于如何调整它们的良好直觉，但这篇文章分析性地、令人信服地阐述了这一切。
引用Micah Goldblum@micahgoldblum🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is virtually as fast as AdamW for LLM pretraining on a per-FLOP basis? 📜 1/n https://t.co/pE24dfjjlK
Prime IntellectAI 评分5252 Prime Intellect 发布 SYNTHETIC-2：400 万条协作生成的推理轨迹开源数据集
Prime Intellect 发布开源数据集 SYNTHETIC-2，包含 400 万条经验证的推理轨迹，由全球 1253 块 GPU 在 3 天内通过流水线并行分布式推理协作生成，覆盖数学、代码及指令遵循等可验证 RL 任务。
LMSYS Blog slime：面向 RL 扩展的 SGLang 原生后训练框架
slime 团队发布面向大规模 RL 训练的后训练框架 slime，原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置，支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互，无需修改环境代码。框架完整支持 SGLang 优化参数（如 EP MoE、DP Attention）及 Megatron 并行策略（TP/PP/EP/CP），提供独立调试模式与检查点转换工具，基础镜像基于 lmsysorg/sglang:dev。
Hugging Face 社区博客AI 评分5151 Hugging Face 讲解高效多模态数据管道：用背包打包消除 padding 浪费
Hugging Face 团队基于 nanoVLM 项目排查训练慢的原因，发现 GPU 闲置和大量 padding token 导致约 60% 的 batch 被浪费。
- Saining Xie@sainingxie引用Xichen Pan@xichen_pan
The code and instruction-tuning data for MetaQuery are now open-sourced! Code: https://github.com/facebookresearch/metaquery Data: https://huggingface.co/collections/xcpan/metaquery-instruction-tuning-data-685b0f16d81ce54bcb7ea3a8 Two months ago, we released MetaQuery, a minimal training recipe for SOTA unified understanding and generation models. We showed that tuning few learnable queries can transfer the world knowledge, strong reasoning, and in-context learning capabilities inherent in MLLMs to image generation. With the training code now available, you can train MetaQuery yourself almost as easily as fine-tuning a diffusion model. We have also open-sourced our 2.4M instruction-tuning dataset. Sourced from web corpora, it offers diverse supervision beyond copy-pasting and unlocks many new exciting capabilities. Thanks @metaai for their support in making it open source!
Prime Intellect精选AI 评分6161 Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行
Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。
推荐理由：原文给出流水线并行推理与 TOPLOC v2 验证机制的细节，开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。
- Yann LeCun@ylecun引用SandboxAQ@SandboxAQ
Today we’re releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinity Dataset with Cofolded 3D Structures. It includes more than 5 million protein-ligand structures, generated using our Large Quantitative Models and labeled with binding affinity data. By providing this unprecedented scale of structure-activity data, we aim to enable researchers to train and evaluate new AI models for drug discovery, bridging the historical gap between molecular structures and drug potency prediction. The SAIR dataset was created using the @nvidia DGX Cloud and is now publicly available on the @Google Cloud Platform. Access and build with SAIR today! 📰Read the Press Release: https://www.reuters.com/business/healthcare-pharmaceuticals/nvidia-backed-ai-startup-sandboxaq-creates-new-data-speed-up-drug-discovery-2025-06-18/ 📥Learn More and Download the Dataset at https://www.sandboxaq.com/sair #DrugDiscovery #LQMs #SAIR #AIforScience #SandboxAQ
- Yann LeCun@ylecun引用SandboxAQ@SandboxAQ
Today we’re releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinity Dataset with Cofolded 3D Structures. It includes more than 5 million protein-ligand structures, generated using our Large Quantitative Models and labeled with binding affinity data. By providing this unprecedented scale of structure-activity data, we aim to enable researchers to train and evaluate new AI models for drug discovery, bridging the historical gap between molecular structures and drug potency prediction. The SAIR dataset was created using the @nvidia DGX Cloud and is now publicly available on the @Google Cloud Platform. Access and build with SAIR today! 📰Read the Press Release: https://www.reuters.com/business/healthcare-pharmaceuticals/nvidia-backed-ai-startup-sandboxaq-creates-new-data-speed-up-drug-discovery-2025-06-18/ 📥Learn More and Download the Dataset at https://www.sandboxaq.com/sair #DrugDiscovery #LQMs #SAIR #AIforScience #SandboxAQ
Anthropic：Transformer Circuits精选AI 评分7878 Crosscoder模型差异分析见解
Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。
推荐理由：为 AI 可解释性提供新视角，助力模型行为分析与安全研究。
Anthropic：Transformer Circuits精选AI 评分7878 一个关于机制（非）忠实性的玩具模型
本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。
推荐理由：揭示可解释性方法中潜在的忠实性问题，帮助开发者更可靠地理解模型内部机制。
EleutherAI：Blog 通过局部体积研究随机网络的归纳偏置
研究团队通过星形域体积估计方法，系统研究随机神经网络参数-函数映射的归纳偏置特性。这项工作建立在先前关于随机采样训练神经网络概率及 Neural Redshift 理论的基础上，致力于解释固定架构下不同任务学习难度存在指数级差异的机制，为理解深度神经网络的泛化能力提供了新的几何分析视角。
Transluce精选AI 评分6666 Transluce 提出 PRBO 方法，用 RL 智能体自动发现 Llama、Qwen、DeepSeek 的罕见病理行为
Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。
推荐理由：Transluce 提出用 PRBO 和 RL 调查智能体自动激发模型的罕见问题行为，并分析这些行为在真实提示下能否复现。
Anthropic：Alignment Science Blog精选AI 评分6666 Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练
Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。
推荐理由：原文介绍了 ICM 无监督算法的原理、基准结果与两条局限，读者可以据此评估无监督对齐路线目前的实际边界。
Lilian Weng@lilianwengThinky 可能要做的第一个产品是一整块旋钮面板，研究人员可以用它在训练过程中物理调节所有超参数。我们总有一天会做硬件，是时候了 😂
引用Stephen Roller@stephenrollerSome teams use sweeps, heuristics, or scaling laws to determine their training LR. At Character, we just have Noam Shazeer dial it to the right value. https://t.co/bJRqirA7YT