技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
247 条精选近 30 天 6 条共收录 1,816 条
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中期训练及合并（WSM）等阶段的检查点，支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构，含 128 个路由专家，每 token 仅激活 1.3B 参数，总参数量 7.9B，并原生混合线性注意力以高效处理长上下文。
推荐理由：它把学习率衰减替换为加权检查点合并，基座模型更适合持续预训练和数据扩展，做继续预训练或领域微调时可复用这一训练策略做离线探索。
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，含 512 个路由专家，每个 token 仅激活 8 个路由专家和 1 个共享专家，激活参数仅 5.1B（Non-emb）。
推荐理由：WSM 合并替代学习率衰减，让持续预训练和动态数据扩展不必为每种衰减策略重跑训练，降低实验成本。
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，512 个路由专家中每 token 仅激活 8 个，总参数量 124B，激活参数仅 5.1B。该系列原生融合线性注意力，并以加权检查点合并替代传统学习率衰减。此次发布包含预训练、中期训练及合并（WSM）等多个训练阶段的检查点，支持继续预训练与微调，模型采用 MIT 许可证。
推荐理由：把训练中间态作为可下载 checkpoint 开放，配合 WSM 合并替代学习率衰减，做继续预训练或 MoE 研究时可从中间阶段开始，省去重复前置训练成本。
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中间训练及合并（WSM）等多个训练阶段检查点，支持继续预训练、微调与研究。
推荐理由：训练检查点分层开放，且用加权合并替代学习率衰减，为持续预训练和动态数据扩展提供了可复用的实验基座，减少不同策略的重复训练成本。
连续扩散与流匹配模型有望成为语言建模中自回归方法的有力替代，可解锁加速采样与倾斜等连续模态优势。近期研究通过高斯分布与one-hot编码数据分布间的简单流匹配过程，实现离散数据的连续生成，并借助分类流映射（CFMs）验证了加速采样的可行性，样本质量具有竞争力。
推荐理由：研究将分类流映射扩展到大规模语言建模，为连续扩散替代自回归提供了实验证据，可能影响模型架构选择。
小红书联合浙江大学、复旦大学提出 CULTURE-MT，这是首个面向中英社媒笔记翻译、兼顾文化符号传递与情感共鸣的评测基准，并首次提出「文化有效性」评估标准与自动评估模型 JUDGER（准确率 86.03%）。
推荐理由：CULTURE-MT将翻译评测从字面准确拉到文化传递，自动评估模型与开放榜单提供了可复现的评测-训练闭环，让改进不再凭感觉。
Google 于 8 月 5 日宣布全面调整 DeepMind 领导层，Demis Hassabis 退出日常运营，Jeff Dean 将联同 Sanjay Ghemawat、Quoc Le、Oriol Vinyals 离职创办新实验室 Discovery Loop，Koray Kavukcuoglu 接掌 DeepMind/Gemini。
推荐理由：原文以 DeepMind 高层变动和 TPU 出售数据论证 Google 重心转向 GCP 云业务，读者可获得一条解释 Gemini 掉队的分析框架。
本教程使用 Google Meridian 构建完整的贝叶斯营销组合建模工作流，涵盖数据加载、ROI 先验配置、NUTS 采样拟合及收敛性评估。通过 Analyzer API 提取渠道贡献、ROI、边际 ROI、adstock 与饱和曲线等后验指标，并计算渠道间 ROI 比较概率。最后用 BudgetOptimizer 优化固定与灵活预算，生成可分享的 HTML 报告并保存模型复用。
推荐理由：完整工作流把先验设定、后验采样、诊断和预算优化串联为可执行步骤，让营销分析团队能自行量化渠道贡献与 ROI 不确定性。
SpaceXAI 上季度资本开支达 183.7 亿美元，其中 158.3 亿投向 AI，约为微软同期总资本开支的 40%。其运营现金流仅覆盖资本开支的 12%，远低于微软的 155% 和 Meta 的 106%，主要依赖举债和股权融资。尽管股价较 6 月峰值腰斩、6 月发行的 250 亿美元债券跌破面值，公司仍以 Grok 4.5（智能指数 54 分）和 Cursor 生态持续加码竞争。
推荐理由：原文用现金流与债券价格数据拆解 SpaceXAI 的资本开支结构，读者可以据此比较其与超大规模云厂商在融资方式上的差异。
LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点，称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench（约 2,000 个人工核验的企业页面、167,000+ 条测试规则）显示，GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍，最新最贵模型仍比专用前沿低 20 分。
推荐理由：文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化，并给出路由、蒸馏、文本层复用等可迁移的工程方法。
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈，让 GPU 可直接读写存储，访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍，并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由：cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准，这会改变 AI 基础设施团队评估存储架构的方式，不再只绑定单一厂商的实现。
Reflex AI 发布 Apache-2.0 许可的 Python 交互式 2D 绘图库 XY，通过 Rust 原生核心、二进制缓冲传输和 WebGL2 渲染，在 1 万至 1 亿点范围内保持约 0.08 秒的渲染时间。
推荐理由：通过Rust核心和二进制输出，XY将千万级点的交互渲染稳定在0.08秒，并让HTML导出体积从259 MiB缩至258 KiB，这对金融、基因组学等需原始数据钻取的大数据场景有直接落地价值。
Palantir CEO Alex Karp 在季度股东信中警告，前沿 AI 实验室对企业过于不可信，并称其意图“占有所谓合作伙伴的生产资料”，带有“马克思主义色彩”。该公司第二季度营收 19 亿美元，同比增长 93%，利润 11 亿美元。Karp 主张 Palantir 提供模型无关的 AI 与分析软件，让企业掌控自身数据与 AI“废气”（提示词、编排、上下文）。
推荐理由：卡普用马克思主义比喻点出的担忧，即AI实验室通过企业token消耗汲取专有知识并转化为竞争产品，正被更多行业领袖提及，这会影响企业与模型厂商的合作条款设计。
慕尼黑法院裁定，AI音乐生成器Suno在训练过程及输出结果中均侵犯版权，并驳回其合理使用抗辩。法院认定Suno 3.5和4版本模型可复现六首知名歌曲的原创元素，构成“记忆化”侵权，且责任归于Suno而非用户。该判决还认定美国版权法下的合理使用不适用于此案，目前尚未最终生效。
推荐理由：裁决将版权责任归于模型开发者而非用户，区分了音乐与文本模型，但提示词针对性可能削弱结论的一般性，对后续 AI 版权诉讼有参考价值。
国家发展改革委在 7 月新闻发布会上介绍，上半年人工智能自主创新加快，首个全国产 10 万卡人工智能超集群正式投用，截至 6 月底全国智能算力规模达去年同期 2.8 倍。深度求索、月之暗面等本土企业发布多个万亿级参数开源大模型，国产大模型全球总下载量突破 100 亿次。相关行业保持 30% 以上高增长，上半年规模以上工业企业集成电路产量同比增长 23.1%，出口额同比增长 88.7%。
推荐理由：这是发改委首次披露上半年AI产业核心数据，算力暴增2.8倍，国产大模型下载破百亿，这些数字会直接写进下半年投资报告的支撑页。虽然只是发布会口径，但数据含金量高，做AI基础设施和政策的从业者值得记下来。
Microsoft Research 推出 Echoverse，为 computer-use agent 构建了 12 个合成训练世界（10 个深度领域世界和 2 个能力世界），9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%，与 GPT-5.4（80.7%）相差 14 个点。
推荐理由：原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法，并开源了四个世界，读者可据此评估训练环境的做法。
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案：端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中，BF16 与所有五种低精度配置的原始奖励曲线高度重合，且 MXFP8 和 NVFP4 减少了推理时间。
推荐理由：虽然只针对Blackwell，但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了，从量化合约到每token缩放都给了可复现配置，做大规模RL训练的能直接上手。
Andrew Ng@AndrewYNg精选AI 评分7878推荐理由：Andrew Ng 不是发论文，是真金白银押注 AI 教育，1 亿美元和 Coursera 背书，意味着个性化学习终于要从PPT走向产品了，教育产品人该反复读他的理念。
德里高等法院认定 OpenAI 利用亚洲国际新闻（ANI）社的内容训练人工智能不构成侵犯版权。法官 Amit Bansal 认为该行为符合印度《版权法》中研究类“合理使用”例外情形，且 ANI 未能证明 ChatGPT 直接复制其受版权保护内容。法院同时指出，现阶段颁布临时禁令将不利于印度正在开发的 LLM 及大量免费使用 ChatGPT 的用户。
推荐理由：印度法院认定训练数据属于合理使用，这是 OpenAI 在版权战中的首次重要胜利，可能影响全球类似案件的走向，值得关注。
Cerebras 发布 MoE 调试指南，基于 modded-nanogpt 的 124M GPT-2 基线手把手训练 4 专家 MoE 模型。
推荐理由：原文给出了完整的 MoE 路由调试过程和一行修复方法，读者可以照着复现并迁移这套假设驱动的调试思路。