技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
248 条精选近 30 天 7 条共收录 1,817 条
Anthropic 使用 Claude 自动化了 95% 的业务分析查询，整体准确率约 95%。其关键在于构建智能体分析栈（agentic analytics stack），通过数据基础层、维护验证流程和技能（skills）分别解决概念-实体歧义、数据过时和检索失败三大错误来源。相比编码场景，数据分析的难点在于将用户问题映射到正确的数据实体，而执行 SQL 反而是简单的。Anthropic 的数据科学团队因此得以专注于因果建模、预测和机器学习等战略工作。
推荐理由：Anthropic 把内部用 Claude 搞自助分析踩过的坑全摊开，技能模板和「语义层优先」的强制流程是实打实的干货，做数据 agent 的团队可以直接抄作业。
4月发布的DharmaOCR（结构化OCR模型）在巴西葡萄牙语文档提取任务中，使用直接偏好优化（DPO）作为监督微调（SFT）后的第二训练阶段。SFT无法直接惩罚文本退化（重复循环），而DPO以模型自身失败输出（退化循环）作为负样本进行偏好训练，使所有测试模型族的文本退化率平均降低59.4%，最高达87.6%（如Nanonets-OCR2-3B从1.61%降至0.20%）。传统DPO多用于聊天对齐，该工作将其扩展至客观的OCR任务，证明DPO可针对性修复特定失败模式。
推荐理由：DPO 不只能对齐，这篇直接用模型自身的垃圾输出当反例，把 OCR 的重复错误平均降了 59%。思路不复杂，但告诉做结构化生成的工程师：训练数据里最该保留的就是模型犯的错。
知名人工智能批评者Gary Marcus在其关于可信赖AI的专栏中，探讨了人工智能发展面临的根本性挑战。文章开篇即指向问题的核心，指出相关数学理论的局限性与人类心理的复杂性，是导致AI系统最终可能出现问题的根源。
推荐理由：Gary Marcus 把 AI 行业缺乏护城河、价格战、ROI 存疑的经济死结讲得很直白，金融圈越来越认同。虽然观点不新，但这回时机恰好卡在 Google 融资和 Anthropic 取消无限 API 的时候，信号意义很强。
微软 MAI 团队发布七款新 MAI 模型，将通过 OpenRouter、Fireworks、Baseten 向开发者开放，并首次允许开发者自行调整模型权重。官方称基于强化学习环境（RLEs）的 Microsoft Frontier Tuning 可让模型学习企业自身工作流，其针对 Excel 微调的 MAI 模型可匹敌 GPT 5.4 且效率最高提升 10 倍。
推荐理由：微软官方发布七款新 MAI 模型，并给出 Frontier Tuning 微调方案与具体效率数字，读者可据此评估其对企业和开发者工作流的影响。
OpenBMB@OpenBMB精选AI 评分7878推荐理由：面壁开源了两个王炸数据集，预训练的 600B+ token 中文合成数据史上最大，SFT 那边 1500 万条带思考链的指令更是头一回见，做中文基础模型的可以无脑下载了。
英伟达 CEO 黄仁勋在 2026 台北电脑展宣布，下一代 AI 超级芯片平台 Vera Rubin 全面投产。该平台是 POD 级基础架构，与上一代 Grace Blackwell 平台相比，其大规模智能体吞吐量提高了 10 倍。凭借开源 MGX 设计，其供应链规模是 Grace Blackwell 的两倍，产品预计于今年秋季开始发货。
推荐理由：Vera Rubin 全面投产，智能体吞吐量提升 10 倍，供应链规模翻倍，这是英伟达给 AI 算力瓶颈的一记重拳，做智能体应用的同行该开始计划升级硬件了。
Fei-Fei Li@drfeifei精选AI 评分8383我对这个适用于大规模生成模型新时代的视觉生成基准数据集感到非常兴奋！🤩
1/ 介绍 GPIC：一个用于视觉生成的巨型宽松许可图像语料库和基准！ 🚀1 亿 VLM 标注的图像-文本对用于训练 📊100 万图像-文本对用于基准测试 🖼️约 28 万亿像素 🤗集中托管 ✅完全允许用于研究 + 商业用途 数据集、基准和模型🧵👇 与 @KyleSargentAI 共同领导
推荐理由：李飞飞都来站台，这个数据集不简单。完全允许商业用途是关键，对做视觉生成的团队来说，终于有了一个不用再为版权头疼的超级训练库。
面壁智能联合清华大学、OpenBMB发布并开源两大数据集：Ultra-FineWeb-L3（超600B Tokens，中文200B+，为当前最大中文预训练合成数据集）和UltraData-SFT-2605（国内首个千万级同时含深思考与非思考标注的SFT数据集）。两者基于UltraData数据分级治理体系构建，在MiniCPM5-1B训练流程中得到完全验证，覆盖预训练退火到后训练SFT全链路。已上线UltraData网站与HuggingFace，免费开放。
推荐理由：填补了中文大规模合成数据空白，三年前还在用英文数据做中文模型的日子可以翻篇了，做端侧模型的可以直接拿这份数据跑一版 MiniCPM5-1B 级别的效果。
蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
推荐理由：用幂函数替代指数项以压制输出范围，避免了 SwiGLU 截断带来的信息丢失，为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
三星电子宣布已开始向全球主要客户交付业界首批 12 层（12Hi）HBM4E 样品。该内存引脚传输速度稳定在 14Gbps 并可扩展至 16Gbps，较 HBM4 提升 20%，单堆栈带宽达 3.6 TB/s，容量为 48GB。相较 HBM4，其能效提升 16%、热阻特性改进 14%，后续将补充 8Hi 32GB、16Hi 64GB 配置。
推荐理由：三星的HBM4E把单堆栈带宽推到3.6TB/s，能效再提16%，对LLM训练是实打实的硬件升级，做AI基础设施和模型训练的可以关注后续量产时间。
微调测试显示，大语言模型存在一种偏见，即倾向于自信地将虚假陈述表述为真实，即使明确告知其陈述为假。
推荐理由：这项研究让我重新思考幻觉问题的根源——LLM无视「此声明为假」的标签，照样把假话当成真知识，开发者靠标注清洗数据可能根本不够。
Rohan Paul@rohanpaul_ai精选AI 评分8181超级智能将建立在自我改进之上。 今天 @hexoai，我们很高兴发布‘SIA’——一个开源的自我改进 AI，通过递归自我改进来实现任何目标。 在尝试解决一个问题时，SIA 不仅通过更新其 harness 来提升自身能力，它还会更新自己的权重。
推荐理由：不再只是给AI换提示词，SIA框架连模型自己的权重都更新了，在三个任务里分别提升了56%、502%和91%加速，开源出来会让整个Agent开发范式重新思考。
Google在Kaggle举办的Tunix黑客马拉松，挑战开发者利用TPU和有限算力，将小型基础模型转变为通用推理引擎。获胜团队通过多阶段后训练流程实现了这一目标，该流程结合了监督微调（SFT）与GRPO、SimPO等先进对齐技术。比赛结果表明，社区能够借助开源资源成功训练出高能力的结构化推理模型。
推荐理由：Google 官方比赛总结，证明用 Kaggle TPU 和开源工具就能把 Gemma 训练出不错推理能力，对想自己微调模型的小团队是个实用参考。
一项针对1260名定量社会科学家的调查显示，虽然81%的受访者用过AI聊天机器人，但仅有20%将Claude Code、Codex等编码智能体常规应用于工作。采用率存在显著差异：以男性名字命名的研究者使用率是女性研究者的两倍；顶尖大学研究者可能性高出40%。用户产出更多工作论文和基金申请，但这可能反映早期采用者自身差异。研究者对AI助力撰写可发表论文更乐观，但对重塑整个社会科学领域持保留态度。这是一项初步调查，更深入研究仍在进行中。
推荐理由：Anthropic 这份调查把编码代理在社科领域的真实渗透率摸清了，只有 20% 的研究者真在用，而且男女、校际差距比 AI 聊天工具大得多，做学术工具的可以认真看看。
异步强化学习中，训练器每步需将完整模型权重（如1T参数checkpoint约1 TB）传输给推理引擎。TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点，仅将变化的权重编码为稀疏safetensors文件，上传至Hugging Face Bucket并通知vLLM获取。在Qwen3-0.6B上，每步传输从1.2 GB降至20–35 MB。实验还展示了完全分离的训练场景：训练器、vLLM和Wordle环境分别位于不同机器和Hugging Face Space中，权重通过单个Hub bucket流动，无需共享集群、RDMA或VPN。
推荐理由：异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了，带宽直接省了两个数量级，还给了可运行的TRL分支，做RL训练的可以直接上手试。
面壁智能联合清华大学与OpenBMB开源社区发布了ForgeTrain框架。该框架是全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。面壁智能已使用ForgeTrain在华为昇腾芯片上完成了其新一代「小钢炮」模型MiniCPM5-1B的预训练，其综合性能在AA榜单上位列2B规模以下Top 1。ForgeTrain框架代码及用于制造该框架的Agent Harness工具链已完全开源。
推荐理由：全球首个AI独立编写的训练框架，零人类代码，并且真的在国产芯片上训出了领先模型。'AI造AI'的闭环第一次被完整打通，做模型训练的团队都该去fork一下，复现过程本身就是一堂课。
面壁智能联合清华大学、OpenBMB发布ForgeTrain，全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。在英伟达H100上训练速度超越Megatron 10%，节省10%算力；在华为昇腾上完整跑通预训练，并训出MiniCPM5-1B模型，综合性能在AA榜单2B规模以下Top1。框架及Agent Harness工具链一并开源。
推荐理由：面壁这波把 AI 写代码从玩具推进到了生产车间，ForgeTrain 跑得比英伟达 Megatron 还快 10%，而且直接在昇腾上训出了 MiniCPM5-1B，国产算力跟 AI 自举这两条线在这一刻交汇了，做训练的可以认真看看。
在数据时代，数据重力是核心力量；而在智能体时代，智能体重力将扮演同样角色。智能体运行需要巨大算力，主要平台将激烈争夺以将其留在自家生态。平台上的智能体与数据越多，其智能体重力就越强。例如，Databricks在微软平台推出的某个功能，虽未明言此目的，却让用户更容易在Databricks中构建智能体，而非微软自家的Fabric。这可能使用户不知不觉间将高价值的智能体及数据工作负载迁移至该平台。因此，赢得并维持智能体重力，将成为智能体时代的核心竞争主题。
推荐理由：Tomer Tunguz 提出「Agent Gravity」概念，把数据平台竞争的逻辑从数据引力延伸到了代理引力，做 Infra 和做 Agent 的人都应该读一读，这可能会影响你对平台锁定的判断。
Ant Ling@AntLingAGI精选AI 评分6868好奇我们万亿级智能体基础模型背后的秘密武器吗？它来了！🥳 去年，我们发布了 IcePop，通过双边掩码来稳定 MoE RL。随着我们深入探索，意想不到的事情发生了：掩码比例下降了，而训练-推理不匹配却持续增长！😞 今年，我们推出 𝑲𝑷𝒐𝒑🪩，它用二元 KL 散度取代固定比例约束，自适应地掩码不合适的 token！掩码比例会随训练过程中训练-推理差距的波动而自适应调整，从而在长时程智能体 RL rollout 中保持策略优化稳定且有效。 通过这一简单改动，它使我们的 Ring-2.6-1T 在纯 RL 训练下于 SWE-bench-Verified 上取得超过 76 的成绩！ 无需修改基础设施。无需 routing replay。只需一个参数，用 𝑲𝑷𝒐𝒑 为你的智能体 RL 赋能！ 点击了解更多细节！ 📜Blog: https://ringtech.notion.site/kpop
推荐理由：蚂蚁团队把 IcePop 升级成 KPop，从固定掩码变成自适应 KL 区域，思路很巧。Ring-2.6-1T 纯 RL 直接冲到 SWE-bench 76+，做 agentic RL 训练的同学值得翻一下博客。
SenseTime@SenseTime_AI精选AI 评分7777推荐理由：商汤把 SenseNova-U1 的训练代码全量开源，支持多模态任务和 MoE，还给了完整的并行策略，做多模态训练的可以直接 fork 过去用，Apache-2.0 很友好。