跳到正文
3月12日周四
  1. Google Research:Blog

    利用AI驱动的山洪预测保护城市

    Google Research在Flood Hub推出城市山洪预测服务,采用新型AI方法Groundsource从新闻报道中提取历史洪水数据作为训练集,结合全球天气模型,可为城市地区提供最长24小时预警。该系统以20x20公里分辨率运行,无需依赖高分辨率水文地图或本地雷达,旨在解决全球南方国家山洪预警基础设施不足的问题,弥补传统 riverine 洪水预测无法覆盖快速 onset 灾害的空白。

3月10日周二
3月1日周日
  1. Cognition 模型 / Devin 博客60

    Cognition 发布 SWE-1.6 早期预览并分享 RL 训练研究进展

    Cognition 发布 SWE-1.6 早期预览,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%,达到 51.7%,速度同为 950 tok/s,并向小部分用户开放早期访问。

    推荐理由:官方给出 SWE-1.6 预览版成绩与 RL 训练细节,并提出基准之外的 Model UX 问题,对做智能体训练的人有参考价值。

2月24日周二
  1. Liquid AI 模型与工程博客64

    Liquid AI 发布早期检查点 LFM2-24B-A2B,24B 总参数仅 2.3B 激活

    Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点,为 MoE 架构,24B 总参数、每 token 约 2.3B 激活,可放进 32GB 内存部署于云端和边缘设备。

    推荐理由:官方给出架构配方和与 Qwen3、gpt-oss 的吞吐对比,读者可以据此评估这款 24B MoE 在笔记本和边缘部署上的实际可行性。

2月23日周一
  1. Together AI 研究与产品博客63

    Together AI 发布 SF Streets 基准,揭示语音模型街名转写错误率达 39% 并用跨语言风格迁移降低 60% 错误

    Together AI 发布 SF Streets 与 US Streets 两项基准,测试 15 个先进 ASR 模型在街名转写上的表现,发现平均错误率达 39%,非英语母语者准确率比英语母语者低 18 个百分点(46% vs 64%)。

    推荐理由:原文用自建基准量化了 ASR 在街名转写上的短板,并给出可复用的合成数据改进方法,对语音部署有直接参考价值。

2月13日周五
2月9日周一
2月6日周五
2月3日周二
  1. 腾讯混元:Research

    从上下文学习比我们想象的更难

    上下文学习(in-context learning)的实际效果存在明显局限。研究表明,大语言模型难以从提示示例中真正提取任务规则,往往依赖表面模式匹配而非深层理解。单纯增加示例数量无法线性提升性能,模型容易受到示例顺序和分布的影响,需要重新评估该能力的实际边界。

1月30日周五
  1. 字节 Seed:Research Papers

    Post-LayerNorm 回归:稳定、高表达力与深度

    提供的正文内容为 PDF 二进制流数据及乱码,无法提取有效信息(如具体方法、实验指标或模型发布细节),因此无法撰写准确摘要。请提供可读的文本内容(如论文摘要或正文段落),以便提取关键信息点完成摘要撰写。

1月26日周一
  1. LMSYS Blog

    单卡H200部署1TB模型:INT4 QAT RL端到端实践

    SGLang RL团队联合多家机构开源INT4量化感知训练端到端方案。受Kimi K2启发,训练阶段采用伪量化,推理阶段使用W4A16(INT4权重、BF16激活)真实量化,实现与BF16全精度相当的稳定性。该方案将约1TB模型压缩至单张H200(141GB)GPU即可完成rollout,彻底消除跨节点通信瓶颈,显著提升推理效率,为大规模模型训练提供高性能、低成本的开源实践参考。

1月1日周四
2025年12月24日周三
  1. OpenRouter:Announcements55

    可蒸馏模型与合成数据管道:使用 NeMo Data Designer

    介绍如何利用 NeMo Data Designer 构建许可安全的合成数据工作流,用于模型特化(model specialization)。该管道支持生成可蒸馏模型所需的高质量合成数据,确保数据来源合规,适用于下游微调与领域适配场景。

    推荐理由:虽然发布快半年了,但教程讲的是如何用 NeMo Data Designer 构建 license-safe 的合成数据管道,对正在搞模型蒸馏和微调的开发者依然有参考价值,细节够实操。

  2. OpenRouter:Announcements50

    利用NeMo Data Designer构建可蒸馏模型与合成数据管道

    NVIDIA推出NeMo Data Designer工具,帮助企业生成合规的合成数据工作流,用于定制化大模型训练。该工具通过创建“许可证安全”的合成数据,规避版权风险,并支持构建可蒸馏的轻量级模型。它为在特定领域数据受限的企业提供了端到端的合成数据生成与管理解决方案,助力模型高效微调与优化。

2025年12月19日周五
  1. Anthropic:Alignment Science Blog60

    Anthropic 等提出 Activation Oracle:训练 LLM 以自然语言回答模型激活相关问题

    Anthropic 联合 MATS、Truthful AI 等机构发布研究,训练 Activation Oracle(AO)将 LLM 神经激活作为输入,用自然语言回答关于激活的任意问题。

    推荐理由:文章给出 Activation Oracle 的训练方法、审计表现和局限,读者可以据此判断它与机械可解释性方法的互补关系。

2025年12月17日周三
  1. 英国 AI Security Institute:Blog65

    英国 AI Security Institute 联合 Thorn 发布防范 AI 生成儿童性虐待材料的安全协议

    英国 AI Security Institute(AISI)与儿童安全组织 Thorn 发布安全协议,指导 AI 开发者和托管平台防止系统被滥用于生成儿童性虐待材料(CSAM)。配套的11月新立法将在严格条件下授权少量组织直接测试模型能否被用于生成此类内容,协议同时列出监测、访问控制等措施,并指出在训练数据和模型输出中可靠检测 CSAM 仍是待解的技术难题。

    推荐理由:AISI 与 Thorn 发布防止 AI 生成 CSAM 的安全协议,并配合新的合法测试授权,读者可了解全生命周期防护思路。

2025年12月12日周五
2025年12月11日周四
2025年12月9日周二
  1. Anthropic:Alignment Science Blog44

    Anthropic 提出 SGTM:将危险知识定位到可移除参数,实现 LLM 能力删除

    Anthropic 提出 Selective GradienT Masking(SGTM),在训练时把 CBRN 等危险知识定位到专用"forget"参数,训练后将其置零即可移除危险能力。在 254M 参数、英文 Wikipedia 训练的模型上,SGTM 在移除生物学知识与保留通用能力之间的权衡优于数据过滤,且恢复被删知识所需重训练量比其他 unlearning 方法多 7×。

2025年12月5日周五
2025年12月3日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库52

    蚂蚁 inclusionAI 开源通用 RL 状态数据管理系统 AState

    AState 是蚂蚁 inclusionAI 开源的通用 RL 状态数据管理系统,已在内部 ASystem 中部署,支持万亿参数规模权重同步仅需约 6 秒,远优于行业分钟级延迟。系统提供统一张量级 API,具备单边读写语义(put/get/multi_put/multi_get/complete),架构分为 API 层、服务层和传输层,实现拓扑感知调度、RDMA 零拷贝传输、零冗余张量分片。RL 原生状态管理(进行中)包括 KV 缓存持久化与恢复、激活缓存卸载、智能体多轮对话与工具调用状态的缓存恢复。

2025年12月2日周二
  1. 字节 Seed:Research Feed

    GR-RL 发布:突破 VLA 精细操作瓶颈,首次实现真机强化学习穿鞋带

    字节跳动 Seed 团队发布 GR-RL,采用离线数据筛选结合在线真机微调的强化学习框架,突破 VLA 模型长时程精细操作瓶颈,首次实现机器人连续穿鞋带。相比前作 GR-3,成功率从 45.7% 提升至 83.3%,减少近 70% 失败。方案通过 Critic 价值判别器剔除次优演示数据,并在隐空间探索优化,解决模仿学习的数据次优性与执行错位问题,模型涌现出自纠错与场景调整能力。

2025年12月1日周一
  1. LMSYS Blog

    从研究到生产:在Vertex AI上用EAGLE-3加速开源大模型

    Vertex AI团队推出基于EAGLE-3的推测解码加速方案,通过为目标模型(如Llama 70B)添加仅占2-5%参数量的轻量级draft head,取代传统独立draft模型,实现2-3倍解码速度提升。文章详述了从研究到生产的完整工程链路:构建合成数据生成管道解决版权与PII问题,采用离线训练策略预计算embeddings,并强调chat template匹配、mask设置及SGLang服务框架选型的关键作用,最终解决CPU瓶颈问题实现规模化部署。

2025年11月26日周三
  1. Prime Intellect69

    Prime Intellect 发布 INTELLECT-3:106B 参数 MoE 模型,大规模 RL 训练并全栈开源

    Prime Intellect 发布 INTELLECT-3,一个 106B 参数的 MoE 模型,在 GLM-4.5-Air 基座上经 SFT 和大规模 RL 训练,在数学、代码、科学和推理基准上达到同规模最先进水平。

    推荐理由:原文给出了完整的模型权重、训练框架与 RL 环境开源清单,读者可以据此复现大规模强化学习后训练。

2025年11月25日周二
  1. LlamaIndex:产品、工程与评测65

    LlamaIndex 发布 LlamaSheets Beta,将杂乱电子表格转为 AI 可用数据

    LlamaIndex 发布 LlamaParse 新 API LlamaSheets(Beta,免费),把任意 .xlsx 电子表格语义化结构为 Parquet 文件,供 Agent 或下游应用使用。

    推荐理由:原文介绍了将杂乱表格转为 Parquet 的多阶段处理方法与接入方式,读者可据此评估是否嵌入自己的表格自动化流程。

  2. LMSYS Blog

    统一 FP8:超越混合精度,实现稳定且加速的 MoE RL

    InfiXAI、Ant Group AQ、SGLang RL 与 Miles 团队联合实现了端到端 FP8 强化学习训练与采样方案。实验表明,MoE 模型在使用 BF16 训练与 FP8 推理时,规模越大训练-推理差异越显著;统一采用 FP8 进行训练和推理可有效消除量化误差导致的不一致性,显著提升训练速度与稳定性。该方案已支持 Qwen3-4B 和 Qwen3-30B-A3B 模型,并在 miles 框架中开箱即用。

2025年11月24日周一
2025年11月20日周四
2025年11月19日周三
  1. LMSYS Blog

    RadixArk发布Miles:面向大规模MoE训练的企业级强化学习框架

    RadixArk团队发布企业级强化学习框架Miles,专为大规模MoE训练设计。该框架基于曾支撑GLM-4.6训练的slime构建,首创True On-Policy技术,实现训练与推理零KL散度对齐。新版本引入在线草稿模型推测解码,rollout加速超25%,并针对GB300等新硬件优化内存管理,支持Flash Attention 3与DeepGEMM。框架采用模块化架构,四大核心组件完全解耦,兼顾研究灵活性与企业级稳定性。

2025年11月18日周二
  1. 智源 FlagOpen:原创开源项目55

    智源 FlagOpen 开源 CoRobot 1.0 具身数据框架及 RoboCOIN 多机器人双臂数据集

    智源 FlagOpen 发布开源具身数据框架 CoRobot 1.0,覆盖数据采集、转换、处理、检索、下载与训练全流程。配套 RoboCOIN 多机器人双臂数据集覆盖 16 种机器人本体、200k+ 轨迹、1,000+ 任务;RoboCOIN-DataManager、DataCollect 已开源,DataTrain、DataConvert、DataForge 即将推出。

2025年11月17日周一
  1. 蚂蚁 inclusionAI:GitHub 新仓库53

    蚂蚁 inclusionAI 发布 Awex:RL 训练-推理权重同步框架,实现秒级参数更新

    蚂蚁 inclusionAI 在 GitHub 开源了 Awex,这是一个高性能的强化学习(RL)训练-推理权重同步框架。该框架旨在使 RL 工作流中从训练到推理的参数更新达到秒级,大幅缩短模型迭代延迟。Awex 的重点在于优化训练与推理之间的权重传输效率,适用于需要快速在线更新的 RL 场景。

2025年11月14日周五
  1. 蚂蚁 inclusionAI:GitHub 新仓库49

    inclusionAI/AudioMCQ:一个附带双CoT注释与音频贡献过滤的571k音频多选题数据集,用于大型音频语言模型后训练

    AudioMCQ数据集包含57.1万个音频多选题,专为大型音频语言模型的后训练设计。该数据集创新性地提供了双重思维链注释,并引入音频贡献过滤机制以提升数据质量。在DCASE 2025挑战赛中,基于此数据集训练的模型获得第一名,展现了其在音频理解与推理任务上的显著效果。该资源已公开,旨在推动音频语言模型的研究与发展。

2025年11月6日周四
2025年11月5日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库49

    inclusionAI/dFactory:轻松高效的 dLLM 微调

    inclusionAI 发布了 dFactory 平台,旨在简化去中心化大语言模型的微调过程。该平台通过自动化工作流和优化的资源调度,显著降低了技术门槛与计算成本。用户无需深厚专业知识,即可利用分布式计算资源对如 LLaMA 等模型进行高效定制。关键改进包括将典型微调任务时间缩短约 40%,并支持多节点协作训练,提升了模型迭代效率。

2025年11月1日周六
  1. BAIR:Berkeley AI Research Blog43

    无需 TD 学习的强化学习:用分治法扩展 off-policy RL

    伯克利 AI 研究博客提出一种不依赖时序差分(TD)学习的 off-policy 强化学习范式:分治法。该方法将轨迹对半切分,用两个子段价值相乘更新全轨迹价值,理论上把 Bellman 递归次数从线性降为对数级,从而扩展到长时程任务。作者称已在 goal-conditioned RL 上首次实现规模化,但如何选取最优子目标 w 仍是待解问题。

  2. BAIR:Berkeley AI Research Blog

    摆脱TD学习的强化学习新方法

    伯克利BAIR团队提出基于"分而治之"范式的离线策略强化学习算法,彻底摆脱传统时序差分(TD)学习框架。该方法通过递归二分轨迹并组合子段价值估计,将Bellman递归次数从线性降至对数级,根本解决了TD学习在长程任务中的误差累积难题。相比n步TD学习,新算法无需调节步长参数,避免了高方差与次优性,在复杂长程任务中展现出良好的可扩展性。

2025年10月27日周一
  1. Thinking Machines Lab:官方博客68

    Thinking Machines Lab 提出 On-Policy Distillation 训练方法

    Thinking Machines Lab 发布技术博客,提出 on-policy distillation:从学生模型采样轨迹,由教师模型对每个 token 计算反向 KL 作为密集奖励。

    推荐理由:原文给出反向 KL 损失、成本对比和可复现实验,读者可以据此评估用稀疏 RL 换成密集蒸馏监督的落地空间。

  2. Anthropic:Alignment Science Blog58

    Anthropic 提出信念深度框架,评估 LLM 被植入事实是否被真实相信

    Anthropic Fellows Program 团队提出衡量信念深度(belief depth)的框架,从泛化性、稳健性、内部表征三个维度评估知识编辑技术。结果显示,合成文档微调(SDF)通常能植入真实信念,而提示词和机械化编辑(如 AlphaEdit)无法深入改变信念;但与基本世界知识相悖的离谱错误事实即使经 SDF 植入依然脆弱,且在内部表征上与真实知识不同。论文与代码已公开。