Cerebras 发布 MoE 模型调试实战教程:从零训练小型 MoE 并修复路由梯度断裂
Cerebras 发布 MoE 调试指南,基于 modded-nanogpt 的 124M GPT-2 基线手把手训练 4 专家 MoE 模型。
推荐理由:原文给出了完整的 MoE 路由调试过程和一行修复方法,读者可以照着复现并迁移这套假设驱动的调试思路。
技术方向
大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
248 条精选近 30 天 7 条共收录 1,817 条
Cerebras 发布 MoE 调试指南,基于 modded-nanogpt 的 124M GPT-2 基线手把手训练 4 专家 MoE 模型。
推荐理由:原文给出了完整的 MoE 路由调试过程和一行修复方法,读者可以照着复现并迁移这套假设驱动的调试思路。
Google 发布 Tunix,一个基于 JAX 的原生后训练库,旨在消除多轮、使用工具的 LLM 推理智能体训练中的 TPU 闲置瓶颈。Tunix 通过高并发异步 rollout 与解耦的生产者-消费者流水线最大化硬件吞吐量,确保训练器持续获得数据。该库提供即插即用抽象和持续宏观级性能分析,便于集成自定义环境。
推荐理由:Google 这个训练库直接解决 agent 训练中 TPU 空转的隐性成本,对做后训练的团队可能是基础设施级改进,值得跟进。
布拉格经济大学研究员托马什·布鲁克纳发现,通过让模型反复输出1到100的随机数,可生成独一无二的“行为指纹”。对165个模型各问30次后发现,GPT-4o偏爱42和37,Claude Sonnet 5疯狂输出47,Qwen3-Max则30次全部回答42。该方法仅需约120条请求即可识别模型身份,错误率约10.6%,为验证API是否被偷换模型提供了轻量级方案。
推荐理由:一个Token识别模型的妙招,轻巧但准确率高,对于被API中转站坑过的人来说简直是照妖镜,而且读起来像在破案。
Transluce 发布 WeirdChat,一个收录超过 175,000 条标注对话的公开目录,用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式,从编造用户姓名到鼓励自残等危害行为。
推荐理由:原文给出了自动化诱发方法和可复现数据集入口,研究者可以据此系统研究模型异常行为的触发与成因。
上海科学智能研究院开放科学多模态基础模型“神珍”,总参数约110亿,可处理DNA、RNA、蛋白质、小分子、地球系统和医学影像六类数据。在生物序列20项任务中,该模型9项取得最优结果;医学影像分割平均Dice得分91.20,在7种参评方法中最优。模型权重及代码已在星河启智、Hugging Face和GitHub开放。
推荐理由:一个模型同时理解蛋白质、气象和医学影像,还全开放权重和代码,对交叉学科的研究者是难得的工具包。比专用模型省去切换成本,值得科学计算方向的产品人关注。
面壁智能联合OpenBMB发布端侧模型MiniCPM5-2B,以2B参数量在AA-Index榜单取得4B以下模型最高分17分,平均分54.26,超越Qwen3.5-2B等竞品。模型原生支持混合思考与512K上下文,已完成华为昇腾、英伟达等9款芯片的Day0适配,即将开源。
推荐理由:2B 参数做到 4B 以下综合第一,而且把数据治理和 Agent 训练流程也开源了,做端侧智能体的可以盯一下,只是还没正式开源,暂时摸不到。
NVIDIA 发布 Nemotron 3 Embed 系列,包含三个开源 checkpoint,其中 8B-BF16 版本在 RTEB 基准上以 78.46 的平均 NDCG@10 排名第一。1B-NVFP4 版本在 Blackwell 上吞吐量比 BF16 高 2 倍,精度保留 99.5%,所有模型最大序列长度 32,768 tokens。
推荐理由:嵌入模型不是最热的赛道,但决定了你 Agent 看到什么——NVIDIA 把 1B 模型压缩到 RTEB 第二,NVFP4 量化后精度几乎不变,做 RAG 的值得换上。
千问APP与武汉发布在武汉举办AI求职实战课,现场演示了用千问进行简历诊断、PPT制作和表格分析。产品经理提出“给全材料、说明目标、定义标准、划定边界、索要可编辑文件”五步法,并展示了将486行杂乱销售数据浓缩为一页结论PPT的“建、理、算、析、呈”方法论。
推荐理由:千问官方出的这套办公Prompt,从简历诊断到PPT救场再到经营数据清洗,方法论清晰可套用,求职者和日常办公的人可以直接拿来用,比泛泛的教程实在。
千问APP与武汉发布联合承办AI求职实战课,现场演示AI在简历诊断、商业报告撰写、销售表分析等场景的应用。产品经理金师兴提出“给全材料、说明目标、定义标准、划定边界、索要可编辑文件”五步法,并给出分步骤提示词生成Word简历;另一产品经理透镜演示用千问紧急制作PPT。表格分析环节通过虚构茶饮店案例,展示“建、理、算、析、呈”方法论,将486行杂乱数据浓缩为一页结论清晰的PPT。
推荐理由:将AI辅助办公拆解为简历诊断、PPT救场和表格分析三步,配套可直接复用的提示词模板,为嵌入日常任务提供了更清晰的操作路径。
OpenAI 训练了自动化红队模型 GPT-Red,用于在部署前发现漏洞并在训练中生成攻击以提升模型鲁棒性。GPT-Red 能攻破此前几乎所有模型,其攻击被用于对抗训练 GPT-5.6 Sol,使该模型在直接提示注入基准测试中的失败率降至四个月前最佳生产模型的 1/6。GPT-Red 通过自对弈强化学习训练,投入了 OpenAI 后训练中前所未有的计算规模。
推荐理由:OpenAI 用自博弈训练出的红队模型 GPT-Red,把直接提示注入攻击成功率压到了 0.05%,而且没有降低模型能力。做 AI 安全的人应该好好读一下他们怎么实现这个飞轮的。
包括 Hachette、Cengage、Elsevier 及作家 Scott Turow 在内的出版商与作者团体对 Google 提起集体诉讼,指控其未经授权使用受版权保护的作品训练 Gemini 模型,并故意移除或篡改版权信息以掩盖这一行为。原告称 Google 将原本仅用于 Google Books 搜索片段展示的书籍副本,以及 Google Play 商店上传的图书,非法用于 AI 训练。诉讼援引 Google 内部文件,其中指出此举可能带来“100 亿至 1000 亿美元的潜在罚款”。该案在纽约南区联邦地区法院提起。
推荐理由:出版商集体诉讼谷歌,这次带上了内部文件警告‘可能面临千亿美元罚款’的弹药,是版权方对AI训练最有力的一次反击,值得关注后续发展。
面壁智能CTO曾国洋指出,端侧模型是AI落地的关键路径。其原创方法论“模型风洞”可在小规模实验中预测完整训练效果,并基于“知识密度”提出“面壁定律”:知识密度每3.5个月翻一番。2B参数的MiniCPM表现优于同期8B竞品。面壁已完成高通、联发科、英特尔、英伟达、AMD等芯片适配,新发布的BitCPM-CANN模型系列可在华为昇腾芯片上让同一内存多装约6倍模型。全双工全模态模型MiniCPM-o4.5支持实时打断与情绪调整。团队开发了全球首个完全由AI编写的生产级训练框架ForgeTrain,并引入行为模式库实现无需开口的“默契系统”。
推荐理由:面壁选择了一条少有人走的端侧之路,这篇 CTO 专访把落地的真实困难、原创方法和他们的思考都摊开了,对做模型和做产品的人都有启发。
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。
推荐理由:原文用 3000 次评测拆解了每轮成本去向,说明逐 token 单价为何不能预测智能体实际账单,方法对评估编码智能体成本有可迁移性。
推荐理由:Satya 提出的「反向信息悖论」直指企业 AI 部署的核心顾虑,建议具体可操作,尤其是评估集控制和编排层解耦,做企业 AI 的产品人现在就该读。
Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
推荐理由:SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。
法国竞争管理局确认,对英伟达的反垄断调查已近尾声,即将发布正式异议声明。调查聚焦两大问题:市场对CUDA平台的严重依赖,以及英伟达对CoreWeave等AI云计算公司的投资。英伟达占全球AI加速器超70%份额。若认定滥用市场支配地位,最高可处全球年营业额10%罚款。法国是首个准备正式指控英伟达的监管机构。
推荐理由:法国快成为全球首个正式指控英伟达反垄断的监管机构,争议在CUDA生态紧耦合与芯片投资,这个案子能不能动摇AI芯片供应链,是所有人都该关心的节点信号。
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由:这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体的数据系统需支持智能体推测式探索——单个
推荐理由:当推理成本趋近免费,数据系统将经历从服务人到服务智能体的根本变革,这篇文章把'为智能体设计系统、用智能体运行系统、让智能体构建系统'三大挑战梳理得很清晰,做数据和 agent 基础设施的人应该读。
Cognition 发布 SWE-1.7,称其以更低成本达到前沿智能水平。模型基于 Kimi K2.7 底座训练,FrontierCode 1.1 Main 通过率 42.3%,Terminal-Bench 2.1 为 81.5%,已在 Devin(Web、Desktop 和 CLI)中经 Cerebras 以 1000 TPS 提供。
推荐理由:官方既公布基准成绩也详解训练方法,读者可以了解多集群 RL 训练、熵稳定和自压缩等具体做法。
DynaMiCS是一种动态混合优化器,将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵,再基于概率单纯形优化计算混合权重,在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明,DynaMiCS相比固定混合基线取得更强的目标领域提升和约束满足,且计算成本更低,无需参考模型、逐样本评分或手动调节混合权重。
推荐理由:苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。