#数据/训练

Sarvam AI 发布开源混合推理模型 Sarvam-M，基于 Mistral Small 24B

Sarvam AI 开源发布 Sarvam-M，基于 24B 的 Mistral Small，经 SFT、RLVR 和推理优化打造面向印度语言的混合推理模型。

Modal 发布 Modal Batch：一行代码处理 100 万个任务

Modal 发布 Modal Batch，一个基于新持久化队列系统的批处理接口，可通过 .spawn_map 一行代码启动上千个容器处理海量输入。队列容量从 2000 提升至 100 万个输入，任务执行保证期限从 1 天延长至 7 天。Harvey 用它将数据处理流水线提速 10x，Suno 和 Achira 也已将其用于音频预处理和量子化学数据集处理。

Prime Intellect 发布容错通信库 PCCL，面向公网分布式训练

Prime Intellect 发布面向公网分布式训练的容错集合通信库 PCCL，任意时刻终止节点均可恢复，新节点可随时加入。测试中跨北美与西欧 18 节点达 25 Gbit/s，西欧数据中心间达 45 Gbit/s，技术报告见 arXiv 2505.14065，代码已在 GitHub 开源。

Lilian Weng@lilianweng· 04:51

当新数据集发布时，我会很兴奋地去查看，然后才意识到这又是一个元混合数据集，结合了其他现有数据集的集合。我的大脑立刻反应："我去……数据污染！" 请不要有元元混合数据集了 :lolsob:

Prime Intellect 发布 INTELLECT-2，32B 推理模型通过全球分布式强化学习训练

Prime Intellect 发布 INTELLECT-2，称其为首个通过全球分布式强化学习训练的 32B 参数推理模型，并在数学和编码基准上超过 QwQ-32B。

Cognition 发布 Kevin-32B：用多轮强化学习训练模型编写 CUDA kernel

Cognition 发布 Kevin-32B，基于 QwQ-32B 用多轮强化学习训练 CUDA kernel 生成，在 KernelBench 前两级数据集上 8 步细化后平均正确率 65%，解决 89% 的任务，超过 o4-mini（53%）和 o3（51%），best@16 加速比 1.41x。

Saining Xie@sainingxie· 21:31

Wow，Deeply Supervised Nets 获得了 @aistats_conf 2025 年的时间检验奖！这是我博士期间提交的第一篇论文。趣事：这篇论文最初被 NeurIPS 拒稿，分数是 8/8/7（是的，那种痛苦一直伴随着我……也许现在终于可以释怀了😅）。我不会说会议投稿是抽奖，但坚持确实大有帮助。同学们：如果你最近因论文结果感到沮丧，正在准备下一篇，希望这能提醒你坚持下去。

Saining Xie@sainingxie· 11:27

最近由 @TongPetersb、@DavidJFan 和 Meta FAIR 团队开源的项目。

Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

Prime Intellect 发布 INTELLECT-2：32B 参数模型的全球去中心化强化学习训练

Prime Intellect 发布 INTELLECT-2，称其为首个 32B 参数模型的全球无许可去中心化强化学习训练，任何人可贡献异构算力。

利用 Latent Diffusion 改造蛋白质折叠模型用于生成

PLAID 是一种多模态生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质的1D序列与3D全原子结构。该方法仅需序列数据训练（可利用比结构数据库大2-4个数量级的数据），支持基于功能与生物体的组合式提示控制。相比传统仅预测骨架的模型，PLAID 解决了离散序列与连续结构坐标的多模态协同生成难题，为可控蛋白质设计提供了新范式。

Sakana AI 发布 Sudoku-Bench 推理基准并开源超 2000 小时人类解题推理数据

Sakana AI 发布基于传统与现代数独的推理基准 Sudoku-Bench，并附技术报告、排行榜和 GitHub 仓库。基准中即使最强模型平均也难以填对任何一个数字，仅 OpenAI 的 ChatGPT o3 能解开部分题目。

用 LlamaExtract 从 SEC 财报中提取结构化金融数据

LlamaIndex 的 LlamaExtract 可用于从 SEC 10-K/Q 财报中提取结构化数据，这类文件常超过 100 页、结构松散且含大量表格，传统方法难以跨章节保持上下文。

DeepSeek@deepseek_ai· 09:06

DeepSeek发布开源并行文件系统3FS（Fire-Flyer File System），专为现代SSD和RDMA网络优化。180节点集群可实现6.6 TiB/s聚合读取吞吐量，25节点GraySort测试达3.66 TiB/min，单节点KVCache查找峰值超40 GiB/s。采用分离式架构与强一致性语义，支持训练数据预处理、检查点存取及V3/R1推理的KVCache查找。同步开源Smallpond数据处理框架。

Sakana AI 提出 TAID 知识蒸馏新方法，打造 1.5B 日语小模型 TinySwallow

Sakana AI 提出 TAID（Temporally Adaptive Interpolated Distillation）知识蒸馏方法，通过随学生模型学习进度动态调整的"中间教师"实现从 LLM 到 SLM 的高效知识迁移，该论文已被 ICLR 2025 接收为 Spotlight。

Prime Intellect 发布 SYNTHETIC-1：由 DeepSeek-R1 生成的 200 万条协作式推理轨迹数据集

Prime Intellect 发布 SYNTHETIC-1，一个由 DeepSeek-R1 生成、全球算力贡献者协作产生的 200 万条开源推理轨迹数据集，覆盖数学、代码和科学问答五类任务，并用任务专属验证器校验正确性。

Prime Intellect 发布 SYNTHETIC-1：140 万条经验证推理任务的开源数据集

Prime Intellect 推出 SYNTHETIC-1，一个基于 DeepSeek-R1 生成的开源推理数据集，包含 140 万条任务与验证器，覆盖数学、编程、软件工程、STEM 和合成代码理解，并开放任何人贡献算力。

2025年1月电路更新：稀疏自编码器训练方法改进

Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。

Prime Intellect 等发布 7B 宏基因组基础模型 METAGENE-1

USC、Prime Intellect 与 Nucleic Acid Observatory 联合发布 7B 参数自回归 transformer 宏基因组基础模型 METAGENE-1，用于疫情监测、病原体检测和早期健康威胁发现。

Anthropic 研究：训练中讨论 reward hacking 的文档会诱发或抑制 reward hacking 行为

Anthropic 对齐科学团队报告，仅讨论但不演示 reward hacking 的合成文档微调可通过 Out-of-Context Reasoning 增加或减少模型的 reward hacking 行为。

AI 进步放缓了吗？

三家头部AI开发商（OpenAI、Anthropic、Google Gemini）的下一代模型均遇阻，引发行业对模型缩放是否已达极限的讨论。Ilya Sutskever表示“现在比以往任何时候都更需要找对方向进行缩放”。文章认为，宣布模型缩放已死为时过早，推理缩放能带来短期能力提升，但能力提升与社会经济影响之间的关联很弱。

Hugging Face 发布 Synthetic Data Generator，用自然语言无代码生成数据集

Hugging Face 团队发布 Synthetic Data Generator，这是一款无代码应用，通过三步流程用自然语言描述生成自定义合成数据集，后台由 distilabel 和免费的 Hugging Face 文本生成 API 驱动。

CFM 案例：用 LLM 辅助标注微调小型模型，金融 NER 成本降至 1/80

Capital Fund Management（CFM）与 Hugging Face 合作，用 Llama 3.1-70b-Instruct 通过 Inference Endpoints 对 FNSPID 数据集约 90 万条新闻标题做金融 NER 辅助标注，并用 Argilla 人工复核 2714 条样本，标注耗时约 8 小时、成本约 70 美元。

Lilian Weng@lilianweng· 12:15精选

🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。

Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型

Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。

Anthology：通过背景故事选集为语言模型构建虚拟人格

研究团队提出Anthology方法，利用包含丰富个人价值观与经历细节的自然主义背景故事（backstories）作为条件上下文，引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签（如年龄、性别）导致的刻板印象局限，使LLM能够从"人口混合声音"转向精确模拟个体人类样本，显著提升了模拟保真度，为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。

Argilla 2.4 发布：无需代码即可在 Hub 上构建微调与评估数据集

Hugging Face 发布 Argilla 2.4，用户可从 Hub 任一公开数据集无代码导入，通过 Argilla UI 定义问题并收集人工反馈，用于构建微调和评估数据集。Hub 现有 230k 数据集可作为起点，部署在 Spaces 上默认启用 Hugging Face OAuth，允许任何 Hub 用户参与标注，也可配置为仅限协作者；后续仍可用 Python SDK 做进一步自定义。

识别 LLMs 训练数据风险的第三方评估

该工作概述了 minetester 框架及其在识别 LLMs 训练数据风险方面的初步应用。作为第三方评估工具，minetester 旨在通过系统性审计发现训练数据中的潜在安全隐患，提升模型透明度。概述内容涵盖该工具的核心架构、评估方法论以及早期实验结果，展示了外部审计机制在大语言模型安全治理中的可行性。

Hamel Husain 发布 LLM-as-a-Judge 评测完全指南，提出 Critique Shadowing 方法

Hamel Husain 基于帮助超过 30 家公司搭建评测系统的经验，发布 LLM-as-a-Judge 完整指南，提出名为 Critique Shadowing 的七步流程。

Transluce 发布 investigator agents 研究报告：用 8B 模型自动引出大语言模型行为

Transluce 发布报告，训练基于 Llama-3.1 8B 的 investigator 模型，通过 SFT 加 DPO 自动搜索提示词来引出目标模型的有害响应、幻觉等行为。

Zyphra 发布 Zamba2-7B 开源混合架构小模型

Zyphra 发布开源小模型 Zamba2-7B（Apache 2.0），称在质量与推理效率上超越 Mistral-7B、Gemma-7B 和 Llama3-8B。

Prime Intellect 启动 INTELLECT-1 首个全球分布式训练的 10B 参数模型

Prime Intellect 启动 INTELLECT-1，宣称是首个 10B 参数模型的全球分布式训练，基于 Llama-3 架构，数据混合为 55% Fineweb-edu、20% DLCM、20% Stack v2、5% OpenWebMath，共超 6 万亿 token，并开放算力贡献入口。

Maximal Update Parameterization 实践者指南

该指南系统阐述了 muTransfer 在 Maximal Update Parameterization 框架下的具体实现机制，详解了如何通过参数化技巧实现不同宽度神经网络间的超参数零样本迁移。内容涵盖基础初始化缩放规则、学习率动态调整策略及宽度扩展中的数值稳定性保持方法，为大规模语言模型训练提供了可复现的工程实践方案与代码级实现细节。

CORE-Bench 基准发布：AI 复现论文能力测试准确率仅 22%

研究人员推出 CORE-Bench 基准，用于衡量 AI 自动化复现论文计算结果的能力。该基准包含 90 篇论文，设三个难度等级。测试中，基于 GPT-4o 的专用智能体 CORE-Agent 在最高难度等级上准确率仅达 22%。

Runway 与 Lionsgate 达成合作

Runway 与 Lionsgate 达成首创性合作，基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型，供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑，双方未来计划向个人创作者开放模型授权。

风格是否重要？在 Chatbot Arena 中解耦风格与实质

Chatbot Arena 团队发布经风格控制调整后的新排行榜，通过 Bradley-Terry 回归控制回答长度及 markdown 格式（标题、加粗、列表）的影响，将模型实质能力与表达风格解耦。调整后排名出现显著变化：GPT-4o-mini 和 Grok-2-mini 排名降至多数前沿模型之下，而 Claude 3.5 Sonnet、Opus 和 Llama-3.1-405B 显著上升。在 Hard Prompt 子榜中，Claude 3.5 Sonnet 与 chatgpt-4o-latest 并列第一，Llama-3.1-405B 升至第三。

Zyphra 发布训练手册，讲解混合 SSM/Transformer/MoE 模型的工程实践

Zyphra 发布训练手册，帮助其他团队构建混合（SSM、Transformer、MoE）模型，内容源自其 BlackMamba、Zamba 系列模型和 Zyda 数据集的实践经验。

FireRedTeam 开源 Target-Driven Distillation 一致性蒸馏方法与模型权重

FireRedTeam 发布 Target-Driven Distillation（TDD），一种一致性蒸馏方法，可让扩散模型仅用 4-8 步生成高细节图像，论文被 AAAI25 接收。核心设计包括目标时间步选择、解耦引导，以及可选的非等距采样和 x0 clipping；项目开源了 SDXL、FLUX.1-dev 的 LoRA 权重和训练/推理代码，并提供了与 LCM、PCM、TCD 的对比示例。

2024年8月可解释性研究动态：词典学习评估新方法

Anthropic可解释性团队发布了2024年8月的研究更新，重点介绍了评估词典学习特征可解释性的两种量化方法。团队通过让Claude模型根据特征可视化工具预测特征激活，来评估特征的“自解释性”。其中，对比评估方法使用一个包含约80个多样化概念（如“光合作用”、“讽刺”、“蓝色”等）的硬编码列表，检验特征能否在对比提示对中一致捕捉概念差异。团队强调这些评估并不全面，仅衡量了可解释性的单一维度，且当前结果为初步分享，更多研究预计在未来几个月发布。

Mistral AI 推出模型自定义、Agents 测试版和 mistralai 1.0 SDK

Mistral AI 宣布三项开发者能力更新。La Plateforme 现已支持自定义旗舰和专用模型（含 Mistral Large 2 和 Codestral）。