数据约束下的混合预训练缩放定律
苹果机器学习研究团队通过2000余次语言模型训练实验，系统研究了稀缺目标数据与通用数据混合预训练中的权衡问题。研究发现，目标数据占比过低会导致模型对目标领域暴露不足，而占比过高则因重复样本过多引发收益递减乃至过拟合，为数据约束下的混合预训练策略提供了量化依据。
#数据/训练
Apple Machine Learning ResearchAI 评分4343 Apple Machine Learning ResearchAI 评分4747 数据受限下的多语言知识迁移：Apple 提出基于词汇干预的新方法
Apple 研究团队提出一种基于词汇干预的多语言知识迁移方法，旨在解决低资源语言训练数据不足时，模型难以从高资源语言获取科学推理、常识推断和世界知识的问题。该方法无需大量平行语料、翻译系统或辅助模型，为数据受限场景下的跨语言知识迁移提供了更高效的替代方案。
蚂蚁百灵：Developer Blog精选AI 评分6060 蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base 基座模型及 6 个训练 checkpoints
蚂蚁百灵正式开源 Ling-3.0-tiny-base（总参数 7.9B，激活 1.3B）与 Ling-3.0-flash-base（总参数 124B，激活 5.1B）两个基座模型，并同步开放预训练、中期训练和 WSM 合并阶段共 6 个 checkpoints。
推荐理由：开源的不只是最终 Base checkpoint，还包括预训练和中期训练共 6 个权重，并解释了无学习率衰减的 WSM 合并方案如何利于持续预训练。
Apple Machine Learning ResearchAI 评分4343 基于核的最优传输估计器专用半光滑牛顿法
苹果机器学习研究团队提出一种专用半光滑牛顿法，用于加速基于核的最优传输（OT）估计器的计算。该方法替代了此前依赖短步内点法（SSIPM）的求解路径，后者在实际中迭代次数庞大、计算代价高昂。新方法在保持高维概率分布比较中统计效率优势的同时，显著降低计算开销。
OpenAI：官网动态精选AI 评分6565 OpenAI 在“关键网络能力”时代放缓模型开发节奏
OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的“关键网络安全能力”阈值，暂时放缓了模型扩展速度，包括暂停最新部署模型的强化学习训练两周，并搁置最大规模前沿 RL 运行。公司已加强研究环境安全，要求对 Astra 及网络相关负载实施最严格防护，并扩展思维链监控，采用多阶段激活分类器检测机制。
推荐理由：最高风险预警若 30 分钟内无法排除误报就暂停训练，安全证据与隔离迁移先于大规模 RL，前沿模型开发进度开始被安全工程效率约束。
Apple Machine Learning ResearchAI 评分4747 MVICAD2：引入延迟与膨胀的多视图独立成分分析
巴黎-萨克雷大学等机构提出MVICAD2，允许不同被试的脑源在时间延迟和膨胀两方面存在差异，以解决MVICA假设过于严格、仅估计延迟不足以刻画听觉刺激等脑动态的问题。该模型源可识别，似然有闭式近似，并通过正则化与优化提升性能。模拟显示其优于现有方法，Cam-CAN数据集验证了延迟和膨胀与衰老相关。
Apple Machine Learning ResearchAI 评分5050 GRPO 超越英语：多语言与非英语环境下的大规模研究
一项大规模实证研究考察了 GRPO 在多语言和非英语环境下的表现，覆盖多种基础模型、训练语言及推理语言奖励设置。研究发现，以母语进行推理训练与英语推理训练之间的性能差距很小，表明 RLVR 在非英语场景下同样有效。该研究为多语言推理模型的强化学习训练提供了重要参考。
字节 Seed：Research PapersAI 评分5151 Chain-of-Experience：让 LLM 在测试时通过反馈迭代持续改进
UC Santa Cruz 与字节 Seed 提出 Chain-of-Experience（CoE）框架，让 LLM 在测试时通过与自身或环境反馈的迭代交互积累经验轨迹实现持续改进。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6464 inclusionAI 开源 ConceptEdit：基于概念缩放与密集监督的图像编辑数据生成管线
蚂蚁集团 inclusionAI 开源 ConceptEdit，一个基于概念缩放与密集监督的图像编辑数据生成管线。该管线通过三阶段流程（VLM 生成指令、FLUX 执行编辑、VQA 评估筛选）构建大规模、基于分类法的图像编辑数据集，并提供单概念与多概念两种变体。项目采用 MIT 许可证，支持断点续跑，需 OpenAI 兼容 VLM 端点与本地 FLUX 检查点。
推荐理由：流水线把图像编辑数据生成拆为指令生成、FLUX 编辑、VLM 评判三步，多概念版本将多个并行编辑合并为一条指令并支持断点续跑，为构建带质检的编辑训练数据提供可复用框架。
OpenAI：官网动态AI 评分5858 OpenAI 加入 PORTS-Pike 项目
OpenAI 与 SB Energy、NVIDIA 及美国能源部达成协议，在俄亥俄州派克县 PORTS-Pike 科技园区获取约 8 吉瓦电力容量。项目预计在 2032 年前六年建设期内创造 35,000 个建筑岗位和 2,500 个长期运营岗位。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4040 蚂蚁 inclusionAI 开源 SingProbe：基于冻结基座模型隐藏状态的 token 级探针训练框架
蚂蚁 inclusionAI 在 GitHub 发布 SingProbe，一个基于冻结 Base Model（如 Ling-3.0-flash）多层隐藏状态的轻量 token 级探针训练框架。
Databricks：BlogAI 评分4646 Databricks 如何在数据仓库中使用 AI_Functions：主要用例解析
Databricks 探讨在数据仓库中应用 AI_Functions 的主要场景，帮助组织在结构化数据之外处理非结构化数据。文章聚焦于如何通过该功能将 AI 能力直接集成到 SQL 工作流中，以扩展数据仓库的分析边界。具体用例与实现细节以原文为准。
a16z：NewsAI 评分4444 a16z 图表：Neocloud 增长远超早期云巨头，但成本高企
a16z 图表显示，由加密矿场转型的 neocloud 公司增速远超早期云巨头，CoreWeave 约 25 个季度即达 AWS 第 40 个季度时的 26 亿美元季度营收。但巨额 Capex 及超营收半数的芯片折旧与利息支出下，其股价一年跌约 16%。另 Atlassian 云业务同比增长 31%，AI 助手 Rovo 用户支出增速接近非用户两倍。
Apple Machine Learning ResearchAI 评分4141 当“遗忘”无需成本：利用低影响力数据点降低机器学习计算开销
苹果机器学习研究团队提出，在模型遗忘任务中，对训练数据中影响可忽略的点无需逐一移除，从而降低计算成本。通过对比语言与视觉任务中的影响力函数，他们识别出对模型输出影响极小的数据子集，并据此优化遗忘流程。该方法挑战了现有遗忘技术对所有遗忘集数据点一视同仁的做法。
METR：Notes精选AI 评分6969 METR 分析 LLM 是否加速了科学发现：漏洞发现激增，算法优化未见明显拐点
METR 汇总多类公开数据寻找发现速度的拐点，发现漏洞发现明显加速：cURL CVE 从 2025 年的 9 个增至 2026 年的 36 个（15 个 AI 标记），Firefox 从 210 增至 342，Microsoft CVE 年化约为 2025 年的 2.5 倍。
推荐理由：原文用多领域公开数据对比 AI 对发现速度的影响，读者可以看到漏洞发现明显加快而算法优化尚未加速的反差。
Prime Intellect精选AI 评分7676 Prime Intellect 测评18个前沿模型在 nanoGPT speedrun 上的自主研究能力
Prime Intellect 在 nanoGPT optimizer speedrun 上跑了153次自主运行，覆盖18个前沿模型，单次最长8天、每个运行8xH200。
推荐理由：原文展示了18个前沿模型在nanoGPT speedrun上153次自主研究运行的完整对比和公开轨迹，可帮助读者理解模型间研究能力的真实差距在哪里。
a16z：NewsAI 评分5151 这篇文章有10%是AI生成的
作者认为“100%由AI生成”正成为新的“红字”，用于公开贬低他人作品，并指出AI写作具有典型的“偏好伪造”特征。文章借法国理论家罗兰·巴特和米歇尔·福柯的“作者功能”概念，分析人们通过指责AI生成来行使社会分类与规训功能，同时承认自己目前仍不喜欢编辑或发布AI写作的内容。
a16z：NewsAI 评分5959 a16z 投资 Vals：为 AI 构建独立评测的信任层
a16z 宣布投资 AI 评测公司 Vals，后者通过将真实工作流转化为严格基准并构建自动化评分系统，测试模型在实际任务中的表现，而非依赖已趋饱和的学术基准。Vals 的私有测试集限制运行次数以防污染，并能在数小时内产出评测结果；其已退役饱和基准并持续引入新任务，例如以 Excel 建模基准替代 CorpFin。
腾讯混元：ResearchAI 评分5555 从 LR 到 ELR：更优的预训练动态调参依据
腾讯混元研究提出以有效学习率（ELR）替代普通学习率作为大模型预训练调参依据，通过直接控制权重方向变化幅度（AUS）更贴近训练内在动态。在多幂律模型中，ELR 能更准确预测损失，且最优 ELR 可更可靠地跨模型规模迁移。基于此提出的负平方根调度策略在 Modded-nanoGPT Track 3 上以 3,175 步达到 3.28 目标损失，刷新 MuonH 最佳性能。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6565 蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，含 tiny 与 flash 两个尺寸及预训练、中期训练、合并（WSM）等阶段检查点。该系列采用混合线性注意力与稀疏 MoE 架构，总参数 7.9B，每 token 仅激活 1.3B 参数（128 个路由专家中激活 8 个）。
推荐理由：用加权检查点合并替代学习率衰减，让基座模型更适合持续预训练，也为验证不同衰减曲线省去重复实验。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6363 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中期训练及合并（WSM）等阶段的检查点，支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构，含 128 个路由专家，每 token 仅激活 1.3B 参数，总参数量 7.9B，并原生混合线性注意力以高效处理长上下文。
推荐理由：它把学习率衰减替换为加权检查点合并，基座模型更适合持续预训练和数据扩展，做继续预训练或领域微调时可复用这一训练策略做离线探索。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6464 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，含 512 个路由专家，每个 token 仅激活 8 个路由专家和 1 个共享专家，激活参数仅 5.1B（Non-emb）。
推荐理由：WSM 合并替代学习率衰减，让持续预训练和动态数据扩展不必为每种衰减策略重跑训练，降低实验成本。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6464 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，512 个路由专家中每 token 仅激活 8 个，总参数量 124B，激活参数仅 5.1B。该系列原生融合线性注意力，并以加权检查点合并替代传统学习率衰减。此次发布包含预训练、中期训练及合并（WSM）等多个训练阶段的检查点，支持继续预训练与微调，模型采用 MIT 许可证。
推荐理由：把训练中间态作为可下载 checkpoint 开放，配合 WSM 合并替代学习率衰减，做继续预训练或 MoE 研究时可从中间阶段开始，省去重复前置训练成本。
蚂蚁 inclusionAI：HuggingFace 新模型精选AI 评分6363 蚂蚁 inclusionAI 开源 Ling-3.0 系列中间训练检查点
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中间训练及合并（WSM）等多个训练阶段检查点，支持继续预训练、微调与研究。
推荐理由：训练检查点分层开放，且用加权合并替代学习率衰减，为持续预训练和动态数据扩展提供了可复用的实验基座，减少不同策略的重复训练成本。
CMU：Machine Learning BlogAI 评分5353 Forking-Sequences：一种统计与计算上更高效的多步预测训练范式
CMU 研究团队正式定义并系统评测了 forking-sequences 训练范式：它无需新增参数，在一次前向传播中跨所有预测创建日期编码解码整条序列。
EleutherAI：BlogAI 评分5858 EleutherAI 与 Hugging Face 发布 FineBooks BHL OCR 排行榜，评测14个开源OCR模型
EleutherAI 与 Hugging Face 发布 FineBooks 项目首期成果 BHL OCR 排行榜，用 IMPACT 项目2011至2012年人工校对的 2,165 页 BHL 历史书籍转录（英法德拉丁语，约每两千字符一错）评测 14 个开源权重 OCR 模型。
Apple Machine Learning ResearchAI 评分4444 超越下一个 token 预测：扩散语言模型与自回归语言模型的性能对比研究
苹果机器学习研究团队系统对比了扩散语言模型（DLMs）与自回归语言模型（ARMs）的性能表现。ARMs 虽在多项 NLP 任务上精度领先，但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力，研究对其性能特征进行了详细刻画。
Databricks：BlogAI 评分5757 Databricks 推出 FILE 原生列类型，面向多模态数据
Databricks 发布 FILE 原生列类型，用于在 Lakehouse 中直接存储和管理多模态数据。该类型将文件作为一等公民纳入表结构，支持图像、音频、视频等非结构化数据与结构化数据统一处理，简化了多模态数据管线的构建与查询。
Apple Machine Learning Research精选AI 评分6464 扩展分类流映射（Categorical Flow Maps）规模
连续扩散与流匹配模型有望成为语言建模中自回归方法的有力替代，可解锁加速采样与倾斜等连续模态优势。近期研究通过高斯分布与one-hot编码数据分布间的简单流匹配过程，实现离散数据的连续生成，并借助分类流映射（CFMs）验证了加速采样的可行性，样本质量具有竞争力。
推荐理由：研究将分类流映射扩展到大规模语言建模，为连续扩散替代自回归提供了实验证据，可能影响模型架构选择。
Apple Machine Learning ResearchAI 评分5656 驯服扩散 Transformer 中的离群 token：Dual-Stage Registers 干预
研究发现扩散 Transformer（DiT）图像生成流程中，预训练 ViT 编码器和 DiT 去噪器均会产生离群 token，尤其在中间层，且简单掩蔽高范数 token 无法改善性能，问题与局部 patch 语义损坏相关。为此提出 Dual-Stage Registers（DSR）干预方法，在 ImageNet 和文生图任务上持续减少离群伪影并提升生成质量。
Meta Engineering BlogAI 评分5858 Meta 广告排序的多阶段序列模型：从用户序列到 LLM 式扩展定律
Meta 推出多阶段序列模型，将离线用户建模与在线排序解耦，并采用密集 token 化与目标感知注意力，使序列学习具备可预测的 LLM 式扩展定律。该架构已为 Instagram 转化率带来 6% 的累计提升，Facebook 转化率提升 3%、广告点击量提升 3.5%，并成为 Meta 生成式广告推荐模型（GEM）的核心组件。
LlamaIndex：产品、工程与评测精选AI 评分6666 LlamaIndex：文档 OCR 不会被前沿模型商品化，LlamaParse Agentic 以 84.9% 领先
LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点，称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench（约 2,000 个人工核验的企业页面、167,000+ 条测试规则）显示，GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍，最新最贵模型仍比专用前沿低 20 分。
推荐理由：文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化，并给出路由、蒸馏、文本层复用等可迁移的工程方法。
Databricks：BlogAI 评分4747 Databricks 如何用 Query Tags 实现 dbt 管线的细粒度用量归因
Databricks 为 dbt 管线引入基于 Query Tags 的细粒度用量归因，可精确追踪每个模型或任务的算力消耗。该方案帮助团队定位成本翻倍的具体模型，将仓库账单与 dbt 模型一一对应，从而优化资源分配与成本控制。
Cursor BlogAI 评分4848 Mixture-of-Kittens：面向 NVL72 的开源 MoE 兆内核
Cursor 开源 Mixture-of-Kittens（MoK），一个为 GB300 NVL72 从零设计的 MoE 训练兆内核，将所有通信与计算融合进单一确定性内核。
NVIDIA Blog精选AI 评分6262 NVIDIA 开源 cuFile API，推动 GPU 直连存储
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈，让 GPU 可直接读写存储，访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍，并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由：cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准，这会改变 AI 基础设施团队评估存储架构的方式，不再只绑定单一厂商的实现。
Meta Engineering BlogAI 评分4747 GEM 训练：Meta 如何将 LLM 规模广告基础模型效率翻倍
Meta 通过内核、精度、并行、网络与内存的协同设计，将广告推荐基础模型 GEM 的端到端训练效率翻倍至 20–25% MFU，并在 12 个月内将训练 FLOPs 扩展 4 倍。
Replit：BlogAI 评分4949 Replit：AI 落地的前提是治理“真相”，语义层是第一步
Replit 认为企业 AI 落地的瓶颈不是数据访问，而是治理公司认可的“真相”，语义层是 AI 原生公司治理的第一步。其做法是把数据含义与纠错建成系统记录，形成版本可控、人工审核、与模型无关的语料，让每次纠错惠及后续所有智能体。Replit 称这一方向与 Anthropic、OpenAI、Meta 的数据智能体思路一致，差异在于强调可审计与治理。
a16z：NewsAI 评分6161 药物研发没有魔法棒：AI 的真正瓶颈在于疾病理解
insitro 创始人兼 CEO Daphne Koller 撰文指出，AI 虽能加速分子设计，但药物研发的真正瓶颈在于疾病机制理解——超过 90% 进入临床试验的药物因靶点错误而失败。行业每年推进的新靶点数量已从约 100 个降至约 30 个。她认为，AI 需先用于正确测量生物学并从中获取新洞察，而非直接寻找疗法。
Databricks：BlogAI 评分5353 Databricks 推出 Variant 通用可用版本，加速半结构化数据摄取
Databricks 宣布 Variant 正式全面可用（GA），用于更快速、高效地摄取 JSON、XML、CSV 等半结构化数据。该功能旨在简化传统上复杂的数据导入流程，提升处理效率。
Ai2 / Allen Institute for AIAI 评分5454 Ai2 介绍用 infini-gram 追溯 AI 生成文本中的特有措辞来源
Ai2 撰文介绍 Stony Brook University 的 Tuhin Chakrabarty 团队如何用 infini-gram 引擎追溯 AI 生成文本中特有短语的来源，背景是获奖短篇被指 AI 写作的 GrantaGate 事件。