数据与训练 最新动态

Hugging Face datasets 流式加载提速：请求减少最高 100 倍，吞吐翻倍

Hugging Face 宣布 datasets 库流式加载大幅优化：数据文件解析快 10 倍，启动请求最高减少 100 倍，流式速度最高提升 2 倍，256 并发 worker 下零崩溃。

Thinking Machines Lab 提出 On-Policy Distillation 训练方法

Thinking Machines Lab 发布技术博客，提出 on-policy distillation：从学生模型采样轨迹，由教师模型对每个 token 计算反向 KL 作为密集奖励。

Ming-VideoMAR：基于连续令牌的自回归视频生成模型

Ming-VideoMAR 是一款仅解码器的自回归图像到视频生成模型，采用连续令牌统一视觉表征。它首次将时间因果性与空间双向性作为视频自回归核心原则，并提出了整合掩码生成的下一帧扩散损失。该模型首次实现了视频生成的零样本分辨率缩放，能灵活生成远超训练分辨率的视频。其在训练与推理效率上表现突出，参数量、训练数据量和GPU消耗仅为之前最佳模型Cosmos的极小比例（9.3%、0.5%和0.2%），同时在定量与定性评估中均实现超越。模型代码与检查点已开源，论文已被NeurIPS 2025接收。

Andrej Karpathy@karpathy· 01:09精选

Sutton（《The Bitter Lesson》作者）在播客中质疑 LLM 并非真正的"苦涩的教训"产物——它们依赖有限的人类数据且充满偏见。他主张 AI 应像动物一样通过 RL 与世界动态交互，而非模仿人类文本。作者认同 LLM 确实充斥人工干预，但认为预训练是应对冷启动的实用"进化替代方案"，纯 RL 在现实世界难以行得通。

Thinking Machines Lab 发布语言模型微调 API Tinker

Thinking Machines Lab 于 2025 年 10 月 1 日发布 Tinker，一个用于微调语言模型的灵活 API，官方处理分布式训练的复杂性，用户可控制算法和数据。

Thinking Machines Lab 发布 LoRA Without Regret 研究

Thinking Machines Lab 发表研究，系统刻画 LoRA 与全量微调（FullFT）表现相当的“低后悔区间”，覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时，监督微调与 LoRA 样本效率和最终性能与 FullFT 相当；RL 场景即使 rank=1 也能完全匹配。

Launch HN: Webhound (YC S23) - 从网络构建数据集的研究智能体

YC S23 孵化的 Webhound 发布，这是一款研究智能体，可自动从网络抓取多源信息并构建结构化数据集，用于支持数据分析与研究工作。

TensorZero 实测 OpenAI 强化微调（RFT）是否值得：仅智能体编码任务明显胜出，成本却是 SFT 的 100-700 倍

TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI RFT（o4-mini）与 SFT（GPT-4.1 mini）。

Jakub 与 Szymon

OpenAI 高层公开致谢首席科学家 Jakub Pachocki 与 Szymon Sidor，二人多次联手攻克被认为不可能的技术难题，主导 Dota RL 扩展、GPT-4 预训练及推理突破，被形容为“不知疲倦”的黄金搭档。

Andrej Karpathy@karpathy· 02:07精选

教科书等知识载体应从人类可读格式转为LLM优化格式：提取正文为结构化markdown，例题转为SFT训练数据，练习题转为RL环境并附加答案作为评判标准，同时支持合成数据无限扩展（如将时钟角度问题泛化为任意时间的自动出题器），最终构建RAG或MCP服务供LLM像学生一样系统学习，远比简单PDF转文本更高效。

Hugging Face 发布开源无代码工具 AI Sheets，可用开放模型构建和丰富数据集

Hugging Face 发布开源无代码工具 AI Sheets，用类似电子表格的界面通过 AI 模型构建、转换和丰富数据集，可本地部署或部署在 Hub 上，支持通过 Inference Providers 使用 Hub 上数千个开放模型，包括 OpenAI 的 gpt-oss。

Jim Fan@DrJimFan· 23:38精选

物理AI评估无法靠实车碰撞测试完成，传统游戏引擎（sim 1.0）也难以覆盖所有边缘情况。基于神经网络的sim 2.0由数据驱动，随车队规模扩展。Tesla已应用多年，用于生成近正面碰撞等罕见危险场景的训练数据，补充800万辆实车难以采集的极端案例。

OpenAI Cookbook 教程：用 Hugging Face Transformers 微调 gpt-oss

OpenAI 开发者 Cookbook 发布教程，讲解如何结合 gpt-oss 与 Hugging Face Transformers 进行微调。文章由 Edward Beeching、Quentin Gallouédec 和 Lewis Tunstall 撰写，并从大型推理模型（如 OpenAI o3）通过生成思维链提升准确性的背景切入。

Hugging Face 推出 PyArrow 与 Pandas 的 Parquet 内容定义分块（CDC）特性

Hugging Face 宣布 Parquet Content-Defined Chunking（CDC）现已在 PyArrow 和 Pandas 中可用，配合 Xet 存储层只上传或下载变化的数据块，降低 Parquet 文件传输和存储成本。

Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向

Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。

Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行

Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。

Crosscoder模型差异分析见解

Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。

一个关于机制（非）忠实性的玩具模型

本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。

Transluce 提出 PRBO 方法，用 RL 智能体自动发现 Llama、Qwen、DeepSeek 的罕见病理行为

Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。

Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。