MoMo:通过时空动作分词实现机器人操作中的运动模式控制
机器人操作需根据任务、物体和交互环境调整动作执行方式。MoMo 提出两阶段模仿学习框架,包含时空动作分词器和行为克隆 Transformer,将任务与连续运动模式条件作为输入。在六项真实机器人操作任务中,改变该条件可稳定生成不同执行风格的动作。
机器人操作需根据任务、物体和交互环境调整动作执行方式。MoMo 提出两阶段模仿学习框架,包含时空动作分词器和行为克隆 Transformer,将任务与连续运动模式条件作为输入。在六项真实机器人操作任务中,改变该条件可稳定生成不同执行风格的动作。
Apple研究团队展示了UMAP内部kNN图在数据理解中的潜力,该图在原始高维空间编码数据流形。将PageRank、k-core分解和聚类系数等图算法应用于该图,可识别代表性数据点、揭示密集核心与稀疏边缘。在MNIST和Fashion MNIST上的评估表明,这些方法与k-medoids、HDBSCAN等专用方法具有竞争力或互补性。
Amazon 提出 ControlG 框架,将图自监督学习(graph SSL)的多目标协调重构为时间分配问题:不再每步混合所有目标的梯度,而是每次只训练一个目标,由工业控制中的 PID 控制器决定下一个该关注哪个目标。
Microsoft Research 推出 Echoverse,为 computer-use agent 构建了 12 个合成训练世界(10 个深度领域世界和 2 个能力世界),9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%,与 GPT-5.4(80.7%)相差 14 个点。
推荐理由:原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法,并开源了四个世界,读者可据此评估训练环境的做法。
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案:端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中,BF16 与所有五种低精度配置的原始奖励曲线高度重合,且 MXFP8 和 NVFP4 减少了推理时间。
推荐理由:虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。
Fireworks 基于 Qwen3.5-9B 的 SFT 对照实验提出,FullFT 优于 LoRA 时应先依次检验数据覆盖、学习率等训练配方和 adapter rank,而非直接归因于 adapter 容量。
李飞飞与 World Labs 于 7 月 21 日宣布收购机器人仿真公司 SceniX,并发布其 R2S2R(真实-仿真-真实)引擎。该引擎将真实任务转化为可控仿真环境,使机器人无需真实训练数据即可学会复杂操作,并通过仿真预测策略在现实中的成败。R2S2R 旨在以可扩展的仿真数据闭环,突破机器人规模化部署中数据采集昂贵、硬件迭代缓慢的瓶颈。
LangChain 利用 Hex、dbt、语义模型和可观测性工具构建了一个可信数据智能体,将自服务分析规模提升了 40 倍。该方案通过语义层统一指标定义,结合 Agent 框架实现自然语言查询,并借助可观测性监控查询质量与数据血缘。这一 Agent-First 数据栈为团队提供了从数据准备到自助分析的端到端可信路径。
Databricks 提出 AI 素养框架,定义了个体理解并有效使用 AI 工具的能力。该框架涵盖基础概念理解、工具实操、伦理评估与协作实践四大维度,并配套提供评估工具与培训指南。企业可据此设计内部 AI 培训计划,提升团队在 LLM、RAG 等关键技术上的应用水平。
Cerebras 发布 MoE 调试指南,基于 modded-nanogpt 的 124M GPT-2 基线手把手训练 4 专家 MoE 模型。
推荐理由:原文给出了完整的 MoE 路由调试过程和一行修复方法,读者可以照着复现并迁移这套假设驱动的调试思路。
BAIR提出ABBEL框架,将长程交互中的摘要生成隔离为自然语言信念状态,并通过信念评分进行监督。在CollabBench协作编程测试中,基于重建的信念评分将全上下文模型的性能差距缩小约50%,训练步数减少50%。该方法解决了递归摘要(如Cursor Composer 2.5采用的压缩技术)在有限训练数据下性能下降的问题。
Fireworks 宣布 Kimi K3 可在其 Serverless Training 上进行 Multi-LoRA 训练与托管,处于私测阶段。K3 是约 2.8T 总参数的 MoE 模型;约 20 步、860K 训练 token 的强化学习运行全部花费约 $65,30 到 60 分钟完成,重复上下文按标准 prefill 费率的 20% 计费。
Databricks 发布了一份金融 AI 应用实用指南,系统梳理了机器学习与自然语言处理在风控、欺诈检测、算法交易及合规报告中的具体落地场景。指南强调利用 Lakehouse 架构统一数据与 AI 工作流,并给出了模型部署、特征存储及实时推理的工程实践建议。该指南面向数据科学家与金融工程师,旨在降低 AI 在金融领域的实施门槛。
IBM 联合 Hugging Face、慕尼黑工业大学等推出社区项目 EveryEvalEver,建立统一的 JSON 评测报告格式和托管在 Hugging Face 的众包数据库,已收录来自 31 种评测格式、覆盖 2200 个基准的 22000 多个模型结果。
Google 发布 Tunix,一个基于 JAX 的原生后训练库,旨在消除多轮、使用工具的 LLM 推理智能体训练中的 TPU 闲置瓶颈。Tunix 通过高并发异步 rollout 与解耦的生产者-消费者流水线最大化硬件吞吐量,确保训练器持续获得数据。该库提供即插即用抽象和持续宏观级性能分析,便于集成自定义环境。
推荐理由:Google 这个训练库直接解决 agent 训练中 TPU 空转的隐性成本,对做后训练的团队可能是基础设施级改进,值得跟进。
Apple 研究人员提出一种无需可执行环境即可生成高质量训练数据的方法,用于训练 API 调用型大语言模型(LLM)智能体。该方法仅需 API 规格说明,利用 LLM 作为数字世界模型,通过教师智能体与 LLM 模拟器交互生成轨迹,并由 LLM 裁判过滤。在 AppWorld 和 OfficeBench 基准上,微调模型使用该合成数据取得了显著的性能提升。
Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,与人类摘要仍有显著差距。
Transluce 发布 WeirdChat,一个收录超过 175,000 条标注对话的公开目录,用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式,从编造用户姓名到鼓励自残等危害行为。
推荐理由:原文给出了自动化诱发方法和可复现数据集入口,研究者可以据此系统研究模型异常行为的触发与成因。
百时美施贵宝(BMS)部署其第二个NVIDIA DGX SuperPOD,基于八套DGX Vera Rubin NVL72系统构建,每瓦性能较现有基础设施提升10倍。该平台向所有科学家开放,包含NVIDIA BioNeMo Agent Toolkit,用于药物发现全流程的预测、模型训练和智能体工作流。
LMSYS 在 Miles 训练框架中实现了 On-Policy Distillation(OPD),支持纯蒸馏和 RL 增强蒸馏。新引入的稀疏逐位置评分工作流将教师响应载荷从 O(R²K) 降至 O(RK)。
OpenAI 训练了自动化红队模型 GPT-Red,用于在部署前发现漏洞并在训练中生成攻击以提升模型鲁棒性。GPT-Red 能攻破此前几乎所有模型,其攻击被用于对抗训练 GPT-5.6 Sol,使该模型在直接提示注入基准测试中的失败率降至四个月前最佳生产模型的 1/6。GPT-Red 通过自对弈强化学习训练,投入了 OpenAI 后训练中前所未有的计算规模。
推荐理由:OpenAI 用自博弈训练出的红队模型 GPT-Red,把直接提示注入攻击成功率压到了 0.05%,而且没有降低模型能力。做 AI 安全的人应该好好读一下他们怎么实现这个飞轮的。
Anthropic 启动新一轮 AI for Science 项目,聚焦罕见遗传病研究。入选者将获得最高 5 万美元的 Claude API 积分,项目分基础科学和早期生物技术两个轨道。Anthropic 认为 AI 能帮助建模罕见病、跨文献综合发现、从有限数据中提取信息,并已与 Monarch Initiative 合作,利用 Claude 分析病例报告和变异数据库以发现疾病机制相似性。
Google Research 在 ICLR 2026 发表的论文证明,扩散模型的创造力并非偶然,而是神经网络训练中“分数平滑”的数学结果。正则化使神经网络学习到训练数据分数函数的平滑近似,导致去噪过程在训练数据点之间插值,从而生成新颖样本。实验表明,即使不显式使用权重衰减,梯度下降算法的隐式正则化也能产生分数平滑效应。
Baseten Base Labs 论文追踪写入 Qwen3 权重的虚构事实在后续 20 到 100 次写入后的存留情况。
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。
推荐理由:原文用 3000 次评测拆解了每轮成本去向,说明逐 token 单价为何不能预测智能体实际账单,方法对评估编码智能体成本有可迁移性。
Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
推荐理由:SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。
Apple机器学习研究团队提出训练无关诊断框架,以每个token、每个问题、每个教师的分辨率分析on-policy蒸馏。通过可扩展targeted-rollout算法估计理想梯度,并计算蒸馏梯度与理想梯度的余弦相似度(梯度对齐分数)。实验发现,蒸馏指导在错误rollouts上的对齐程度显著高于正确rollouts;最优蒸馏上下文取决于学生模型容量和目标任务,无通用配置。这些发现推动每任务、每token的诊断分析。
多模态大语言模型(MLLM)在第一人称视频理解中缺乏时序感知,常依赖空间捷径。为此,研究者提出 Temporal Global Policy Optimization(TGPO),一种基于可验证奖励的强化学习算法。TGPO 通过对比模型在时序有序与打乱帧上的输出,生成全局归一化奖励信号,明确奖励时序连贯推理。TGPO 可集成 GRPO 和 GSPO,支持冷启动 RL 训练,抑制 MLLM 的空间捷径行为。在五个第一人称视频基准上,TGPO 一致提升时序定位与因果连贯性,优于此前基于 RL 的视频推理方法。
Amazon Science 发布 Rust 编写的开源代理 Turnstile,它位于智能体 harness 与推理后端之间,在生成时刻精确记录 token ID、对数概率、loss mask 及权重版本边界,导出框架无关的训练轨迹。
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由:这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
LangChain 通过挖掘智能体运行轨迹(traces)来定位失败模式,并利用这些数据微调评估模型(judge models),其成本低于前沿大语言模型。该方法结合评估(evals)进行性能爬山(hill-climb),以系统化方式提升智能体表现。
AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体的数据系统需支持智能体推测式探索——单个
推荐理由:当推理成本趋近免费,数据系统将经历从服务人到服务智能体的根本变革,这篇文章把'为智能体设计系统、用智能体运行系统、让智能体构建系统'三大挑战梳理得很清晰,做数据和 agent 基础设施的人应该读。
AE Studio 与 Anthropic 合作提出 Gradient-Routed Auxiliary Modules(GRAM),通过在 Transformer 每层 MLP 中加入辅助模块,将双用途知识(病毒学、网络安全、核物理、专用代码)隔离到可开关的模块中,删除模块即可移除对应能力。
Cognition 发布 SWE-1.7,称其以更低成本达到前沿智能水平。模型基于 Kimi K2.7 底座训练,FrontierCode 1.1 Main 通过率 42.3%,Terminal-Bench 2.1 为 81.5%,已在 Devin(Web、Desktop 和 CLI)中经 Cerebras 以 1000 TPS 提供。
推荐理由:官方既公布基准成绩也详解训练方法,读者可以了解多集群 RL 训练、熵稳定和自压缩等具体做法。
DynaMiCS是一种动态混合优化器,将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵,再基于概率单纯形优化计算混合权重,在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明,DynaMiCS相比固定混合基线取得更强的目标领域提升和约束满足,且计算成本更低,无需参考模型、逐样本评分或手动调节混合权重。
推荐理由:苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
字节 Seed 发布超长程评测集 EdgeBench,含 134 个真实任务(覆盖六大领域),每个任务支持 Agent 持续工作至少 12 小时。基于约 38000 小时交互数据,发现 Agent 环境学习表现遵循高精度 log-sigmoid 曲线(平均 R²=0.998);自 2025 年 9 月至 2026 年 5 月,前沿模型学习速度约每三个月翻一倍。EdgeBench 已开源 51 个任务及完整评测框架。
Fortress是一个提升搜索推荐模型稳定性与准确性的通用框架。其通过收集历史数据快照、识别预测不稳定样本、剔除导致波动的特征,并仅用稳定特征重新训练模型,来抑制来自用户交互信号(如engagement特征)的波动性,同时保留其预测能力。该方法在大型应用商店的查询到应用相关性模型上验证,离线实验表明预测稳定性(以变异系数衡量)和分类性能(以PR-AUC衡量)均有提升。
TopoPrimer 框架将序列群体的全局拓扑结构作为显式输入加入预测模型。通过持续同调与谱坐标预计算,可部署为全训练模型的 per-token 输入或预训练骨干的轻量适配器。在 Chronos 和 TimesFM 的四个基准上,TopoPrimer 在 ECL 上最高提升 7.3% MSE,零样本与微调效果相近。面对季节性需求峰值,传统模型误差退化达 50%,TopoPrimer 控制在 10% 以内;冷启动场景下 MAE 降低 27%。
分布式 AI 训练常因单台机器故障导致整个多节点作业崩溃,需耗时重启。Google 的 JAX 生态通过 Pathways 实现弹性训练,将硬件故障转化为可捕获的 Python 异常,使运行进程存活。测试中,训练中途终止一个 TPU 后,系统自动替换损坏的节点、从 Cloud Storage 恢复最新检查点并原地恢复训练,总停机时间低于 2 分钟,主控制器进程全程无需重启。
稀疏混合专家(MoE)中,每层独立路由token。论文从“专家路径”(token在各层选中的专家序列)视角发现:尽管N专家L层有N^L条可能路径,实际token仅聚集在少数与语言功能对齐的路径上,大部分路径未被利用。为此提出PathMoE,在连续层块间共享路由参数,强制约束有效路径空间以放大自然聚集。0.9B和16B参数模型实验显示,相比独立路由,PathMoE在困惑度和下游任务上一致改进,且无需辅助损失。专家路径为MoE设计提供了新维度。