智源 FlagOpen 开源 CoRobot 1.0 具身数据框架及 RoboCOIN 多机器人双臂数据集
智源 FlagOpen 发布开源具身数据框架 CoRobot 1.0，覆盖数据采集、转换、处理、检索、下载与训练全流程。配套 RoboCOIN 多机器人双臂数据集覆盖 16 种机器人本体、200k+ 轨迹、1,000+ 任务；RoboCOIN-DataManager、DataCollect 已开源，DataTrain、DataConvert、DataForge 即将推出。
#数据/训练
智源 FlagOpen：原创开源项目AI 评分5555 Dwarkesh Patel：Podcast & Blog RL 的信息效率比你想象的还要低
强化学习（RL）在样本效率方面的缺陷比普遍认知更为严重，尤其在近期备受关注的可验证奖励强化学习（RLVR）领域。研究表明，RLVR 在训练大语言模型时所需的数据量远超预期，其信息效率可能比传统监督学习低数个数量级。这一发现对当前依赖 RLVR 提升模型推理能力的技术路线提出挑战，暗示现有方法在计算资源利用和训练数据需求方面存在显著瓶颈，可能需要更高效的探索策略或算法改进来降低对海量数据的依赖。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5353 蚂蚁 inclusionAI 发布 Awex：RL 训练-推理权重同步框架，实现秒级参数更新
蚂蚁 inclusionAI 在 GitHub 开源了 Awex，这是一个高性能的强化学习（RL）训练-推理权重同步框架。该框架旨在使 RL 工作流中从训练到推理的参数更新达到秒级，大幅缩短模型迭代延迟。Awex 的重点在于优化训练与推理之间的权重传输效率，适用于需要快速在线更新的 RL 场景。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/AudioMCQ：一个附带双CoT注释与音频贡献过滤的571k音频多选题数据集，用于大型音频语言模型后训练
AudioMCQ数据集包含57.1万个音频多选题，专为大型音频语言模型的后训练设计。该数据集创新性地提供了双重思维链注释，并引入音频贡献过滤机制以提升数据质量。在DCASE 2025挑战赛中，基于此数据集训练的模型获得第一名，展现了其在音频理解与推理任务上的显著效果。该资源已公开，旨在推动音频语言模型的研究与发展。
Baseten 工程博客AI 评分4343 Baseten 为牙科笔记场景定制 LLM：单 LoRA 适配器同时处理三项任务，准确率追平 gemini-2.5-pro 且快 5-6 倍
Baseten 与一家牙科笔记厂商合作，用单个 rank 256 的 LoRA 适配器让模型同时学会三项任务：将最长 25000 tokens 的问诊转录转为结构化临床笔记、实时追加新发现、以及修改润色已有笔记。
Goodfire ResearchAI 评分5858 Goodfire Research 通过损失曲率识别并抑制模型记忆
Goodfire Research 发布论文，提出基于损失曲率的方法，在权重空间中分离支持记忆化与通用计算的方向，无需标注遗忘样本即可选择性抑制模型的记忆内容。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/dFactory：轻松高效的 dLLM 微调
inclusionAI 发布了 dFactory 平台，旨在简化去中心化大语言模型的微调过程。该平台通过自动化工作流和优化的资源调度，显著降低了技术门槛与计算成本。用户无需深厚专业知识，即可利用分布式计算资源对如 LLaMA 等模型进行高效定制。关键改进包括将典型微调任务时间缩短约 40%，并支持多节点协作训练，提升了模型迭代效率。
BAIR：Berkeley AI Research BlogAI 评分4343 无需 TD 学习的强化学习：用分治法扩展 off-policy RL
伯克利 AI 研究博客提出一种不依赖时序差分（TD）学习的 off-policy 强化学习范式：分治法。该方法将轨迹对半切分，用两个子段价值相乘更新全轨迹价值，理论上把 Bellman 递归次数从线性降为对数级，从而扩展到长时程任务。作者称已在 goal-conditioned RL 上首次实现规模化，但如何选取最优子目标 w 仍是待解问题。
BAIR：Berkeley AI Research Blog 摆脱TD学习的强化学习新方法
伯克利BAIR团队提出基于"分而治之"范式的离线策略强化学习算法，彻底摆脱传统时序差分(TD)学习框架。该方法通过递归二分轨迹并组合子段价值估计，将Bellman递归次数从线性降至对数级，根本解决了TD学习在长程任务中的误差累积难题。相比n步TD学习，新算法无需调节步长参数，避免了高方差与次优性，在复杂长程任务中展现出良好的可扩展性。
Mira Murati@miramuratiAI 评分4747作为我们对开放与协作科学承诺的一部分，我们正通过资助计划，为研究人员和讲师扩大 Tinker 的免费访问权限。
引用Thinking Machines@thinkymachinesToday we’re announcing research and teaching grants for Tinker: credits for scholars and students to fine-tune and experiment with open-weight LLMs. Read more and apply at: https://thinkingmachines.ai/blog/tinker-research-and-teaching-grants/
Lilian Weng@lilianweng引用Thinking Machines@thinkymachinesOur latest post explores on-policy distillation, a training approach that unites the error-correcting relevance of RL with the reward density of SFT. When training it for math reasoning and as an internal chat assistant, we find that on-policy distillation can outperform other approaches for a fraction of the cost. https://thinkingmachines.ai/blog/on-policy-distillation/
- Mira Murati@miramuratiAI 评分5151引用Thinking Machines@thinkymachines
Our latest post explores on-policy distillation, a training approach that unites the error-correcting relevance of RL with the reward density of SFT. When training it for math reasoning and as an internal chat assistant, we find that on-policy distillation can outperform other approaches for a fraction of the cost. https://thinkingmachines.ai/blog/on-policy-distillation/
Hugging Face 社区博客精选AI 评分6565 Hugging Face datasets 流式加载提速：请求减少最高 100 倍，吞吐翻倍
Hugging Face 宣布 datasets 库流式加载大幅优化：数据文件解析快 10 倍，启动请求最高减少 100 倍，流式速度最高提升 2 倍，256 并发 worker 下零崩溃。
推荐理由：作者实测训练场景给出具体性能数字与可复用配置，读者可据此判断流式加载能否替代本地下载数据。
Thinking Machines Lab：官方博客精选AI 评分6868 Thinking Machines Lab 提出 On-Policy Distillation 训练方法
Thinking Machines Lab 发布技术博客，提出 on-policy distillation：从学生模型采样轨迹，由教师模型对每个 token 计算反向 KL 作为密集奖励。
推荐理由：原文给出反向 KL 损失、成本对比和可复现实验，读者可以据此评估用稀疏 RL 换成密集蒸馏监督的落地空间。
Anthropic：Alignment Science BlogAI 评分5858 Anthropic 提出信念深度框架，评估 LLM 被植入事实是否被真实相信
Anthropic Fellows Program 团队提出衡量信念深度（belief depth）的框架，从泛化性、稳健性、内部表征三个维度评估知识编辑技术。结果显示，合成文档微调（SDF）通常能植入真实信念，而提示词和机械化编辑（如 AlphaEdit）无法深入改变信念；但与基本世界知识相悖的离谱错误事实即使经 SDF 植入依然脆弱，且在内部表征上与真实知识不同。论文与代码已公开。
Google DeepMind：Blog AlphaEarth Foundations 以前所未有的细节绘制地球地图
AlphaEarth Foundations 新AI模型整合PB级地球观测数据，生成统一数据表示，以前所未有的精度革新全球测绘与监测。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4747 inclusionAI/TwinFlow
该研究提出了一种名为“自对抗流”的新方法，旨在驯化大规模少步训练。该方法通过引入一种内部对抗机制来优化流模型在有限训练步数下的性能，有望解决大模型训练中计算成本高昂的挑战。相关工作已被顶级机器学习会议ICLR 2026接收。
Google DeepMind：Blog 利用人工智能深度感知宇宙
利用人工智能技术，科学家能够从海量宇宙数据中提取深层信息，突破传统观测局限，揭示隐藏规律，从而以前所未有的深度感知和理解宇宙，持续拓展人类认知边界。
Google DeepMind：Blog VaultGemma：全球能力最强的差分隐私 LLM
VaultGemma 基于差分隐私技术从头训练，是目前能力最强的隐私保护大语言模型，在严格隐私约束下实现了顶尖性能。
Anthropic：Alignment Science BlogAI 评分5353 Anthropic 发布 Inoculation Prompting 论文，通过训练时提示词减少模型学到不良行为
Anthropic Fellows 等研究人员提出 Inoculation Prompting（IP），在训练提示词中显式要求不良行为（如 hack 测试用例），测试时使用未修改提示词，可减少模型从不对齐数据中学会不良行为。
Hugging Face 社区博客AI 评分4747 Hugging Face 发起 AI for Food Allergies 项目，用 AI 推进食物过敏研究
Hugging Face 发起 AI for Food Allergies 项目，计划打造首个社区驱动的研究实验室，探索 AI 如何推进食物过敏研究。全球约 2.2 亿人患有至少一种食物过敏，美国约占总人口 10%。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4848 inclusionAI/linghe
inclusionAI 开源了专为大语言模型训练设计的高性能内核库 Linghe。该库旨在优化 LLM 训练过程中的计算效率，通过底层内核创新提升训练速度并降低资源消耗。Linghe 支持当前主流的 Transformer 架构模型，为开发者和研究者提供了更高效的训练工具，有望加速 LLM 的开发与迭代进程。
Hugging Face 社区博客AI 评分4949 NVIDIA 发布 Nemotron-Personas-India：面向主权 AI 的合成印度人物数据集
NVIDIA 发布 Nemotron-Personas-India，首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集，采用 CC BY 4.0 许可。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6666 Ming-VideoMAR：基于连续令牌的自回归视频生成模型
Ming-VideoMAR 是一款仅解码器的自回归图像到视频生成模型，采用连续令牌统一视觉表征。它首次将时间因果性与空间双向性作为视频自回归核心原则，并提出了整合掩码生成的下一帧扩散损失。该模型首次实现了视频生成的零样本分辨率缩放，能灵活生成远超训练分辨率的视频。其在训练与推理效率上表现突出，参数量、训练数据量和GPU消耗仅为之前最佳模型Cosmos的极小比例（9.3%、0.5%和0.2%），同时在定量与定性评估中均实现超越。模型代码与检查点已开源，论文已被NeurIPS 2025接收。
推荐理由：蚂蚁把自回归视频生成的训练成本砍到 Cosmos 的 0.2% 还能赢，这个效率信号比分数本身更值得关注，做视频生成的团队该认真看看它的课程学习和渐进分辨率策略。
Anthropic@AnthropicAI联合研究发现，仅需少量恶意文档就能在 LLM 中植入安全漏洞，且不受模型规模或训练数据量影响。这表明数据投毒攻击的实施门槛可能比此前认为的更低，实际威胁被低估。
- Lilian Weng@lilianweng
GPUs 价格昂贵，且搭建让 GPUs 正常工作的基础设施十分复杂，这使得研究人员和机器学习从业者难以对前沿模型进行实验。
Andrej Karpathy@karpathy精选引用Dwarkesh Patel@dwarkesh_sp.@RichardSSutton，强化学习之父，不认为 LLM 是“苦涩教训”的信徒。 我对 Richard 立场的善意解读：我们需要某种新架构来实现持续（在职）学习。 而如果我们有了持续学习，就不需要专门的训练阶段——智能体就像所有人类、乃至所有动物一样，边做边学。 这种新范式将使我们当前基于 LLM 的方法过时。 我尽力表达了这样一种观点：LLM 将成为这种经验学习得以发生的基础。现场有些火花四溅。 0:00:00 – LLM 是死路一条吗？ 0:13:51 – 人类会做模仿学习吗？ 0:23:57 – 经验时代 0:34:25 – 当前架构在分布外泛化能力很差 0:42:17 – AI 领域的意外 0:47:28 – AGI 之后“苦涩教训”仍然适用吗？ 0:54:35 – 向 AI 的传承
推荐理由：Karpathy解读Sutton对LLM的批判，提出「召唤幽灵」vs「构建动物」的深刻比喻，反思AI发展路径
Berkeley RDI：Blog RL顿悟配方：如何让大模型通过强化学习攻克无解任务？
研究团队发布合成编程基准DELTA与Manufactoria测试平台，针对基础模型pass@128为零的分布外任务，提出两阶段奖励调度方案：先以密集每测试奖励打破零梯度僵局，再切换至二元全通奖励巩固精确解。实验显示，RL训练在漫长平台期后会出现"grokking"式相变，准确率骤升至约100%，证明模型能够发现全新策略而非仅优化已有知识。迁移测试表明，习得策略可重组编程子技能并外推至更难参数范围，但在需要新不变量的结构性转变上仍受限。
Thinking Machines Lab：News精选AI 评分6060 Thinking Machines Lab 发布语言模型微调 API Tinker
Thinking Machines Lab 于 2025 年 10 月 1 日发布 Tinker，一个用于微调语言模型的灵活 API，官方处理分布式训练的复杂性，用户可控制算法和数据。
推荐理由：原文来自官方发布，说明了 Tinker 的微调能力、LoRA 成本方式和早期用户实例，可据此判断其对研究者的可用性。
Thinking Machines Lab：官方博客精选AI 评分6969 Thinking Machines Lab 发布 LoRA Without Regret 研究
Thinking Machines Lab 发表研究，系统刻画 LoRA 与全量微调（FullFT）表现相当的“低后悔区间”，覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时，监督微调与 LoRA 样本效率和最终性能与 FullFT 相当；RL 场景即使 rank=1 也能完全匹配。
推荐理由：文章通过系统实验给出了 LoRA 与全量微调表现相当的两个条件，读者可据此判断自己的微调场景能否改用 LoRA。
- Lilian Weng@lilianweng
查看脚注中那些隐藏的宝石般的小故事，你会发现这令人鼓舞：对同一主题感兴趣的研究者能够跨越角色和地域合作推进一个领域。这就是开放科学和社区的力量。
引用Thinking Machines@thinkymachinesEfficient training of neural networks is difficult. Our second Connectionism post introduces Modular Manifolds, a theoretical step toward more stable and performant training by co-designing neural net optimizers with manifold constraints on weight matrices. https://thinkingmachines.ai/blog/modular-manifolds/ We explore a fundamental understanding of the geometry of neural network optimization.
Hugging Face 社区博客AI 评分5454 NVIDIA 发布开源合成数据集 Nemotron-Personas-Japan
NVIDIA 发布开源合成数据集 Nemotron-Personas-Japan，含 600 万条基于日本人口统计、地理与文化特征的日语 personas（100 万条记录、每条 6 个 persona），总 token 约 14 亿，其中 persona 相关约 8.5 亿，采用 CC BY 4.0 许可。
Thinking Machines Lab：官方博客AI 评分4141 Thinking Machines Lab 提出模块化流形与流形版 Muon 优化器
Thinking Machines Lab 发布博客，介绍将神经网络各层权重矩阵约束在子流形上的思路，并提出权重约束在 Stiefel 流形上的流形版 Muon 优化器。文章从超球面约束的向量参数示例讲起，说明在切空间内取步可使学习率与实际步长对应，最后提出可组合的"模块化流形"概念，以支持大规模网络训练。
Hacker News：AI 热帖精选 Launch HN: Webhound (YC S23) - 从网络构建数据集的研究智能体
YC S23 孵化的 Webhound 发布，这是一款研究智能体，可自动从网络抓取多源信息并构建结构化数据集，用于支持数据分析与研究工作。
推荐理由：YC孵化的Web研究Agent，可自动从网络构建数据集
TensorZero：实验与工程博客精选AI 评分6363 TensorZero 实测 OpenAI 强化微调（RFT）是否值得：仅智能体编码任务明显胜出，成本却是 SFT 的 100-700 倍
TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI RFT（o4-mini）与 SFT（GPT-4.1 mini）。
推荐理由：作者用三个真实任务实测 OpenAI RFT 与 SFT 的效果和成本差距，给出了按任务类型判断 RFT 是否值得用的可比结论。
Hugging Face 社区博客AI 评分5252 ServiceNow 发布低代码数据构建框架 SyGra
ServiceNow 推出开源框架 SyGra，用低代码/无代码方式为 LLM 和 SLM 生成、转换与对齐数据。它支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端，覆盖 Q&A 生成、SFT 到 DPO 偏好对、多轮与推理型问题、跨语言转换和质量过滤等场景，并提供教程与示例任务仓库。
LMSYS Blog SGLang 实现确定性推理与可复现 RL 训练
SGLang 基于 Thinking Machines Lab 的 batch-invariant 算子实现全确定性推理，解决动态批处理导致的输出差异问题，兼容 chunked prefill、CUDA graphs 及非贪婪采样。该方案将性能开销从 61.5% 降至 34.35%，配合 CUDA graphs 可实现 2.8 倍加速。SGLang 与 slime 合作进一步实现 100% 可复现的 RL 训练，在 Qwen3-8B 验证中两次独立训练产生完全一致的曲线，为科学实验提供可靠保障。
LMSYS Blog 在 AMD GPU 上优化 FP4 混合精度推理
针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题，研究团队推出 Petit 内核集合，通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍，矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术，已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。
Together AI 研究与产品博客AI 评分5757 Together AI 微调平台升级：支持 DeepSeek-V3.1、Qwen3-235B 等大模型并扩展上下文长度
Together AI 宣布微调平台升级，新增支持 gpt-oss-120b、DeepSeek-V3.1、DeepSeek-R1、Qwen3-235B、Llama 4 Maverick 和 Scout 等十余个百亿到千亿参数模型的 SFT 和 DPO 训练。