为什么MiniMax大语言模型无法说出“马嘉祺”？稀疏Token遗忘的内部调查
MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”（如“马嘉祺”）。内部调查排除tokenizer对齐问题，发现根因是后训练阶段对低频token的生成概率产生抑制。该问题已在后续模型更新中修复，并顺带解决了其他小语种混合问题。
推荐理由：这种官方自己拆自己的技术调查不多见，把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因，做模型训练的可以当案例看。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
248 条精选近 30 天 7 条共收录 1,817 条
更新
精选归档 · 第 8 页
MiniMax：Blog精选AI 评分5959
Simon Willison 博客精选AI 评分7171 Datasette Agent
Datasette Agent是Datasette推出的首个可扩展AI助手，为用户提供对话式界面以查询数据，并支持通过插件生成图表。该工具基于其LLM Python库构建，是LLM与Datasette整合的重要成果。目前提供图表生成、AI图像创建和沙箱代码执行等官方插件。它既可运行于Gemini 3.1 Flash-Lite等云端模型，也支持通过LM Studio连接本地开源模型，具备可靠的工具调用与查询能力。
推荐理由：Simon 终于把 Datasette 和 LLM 接上了，自然语言查 SQL 数据库有了现成方案，插件生态和本地模型支持让这工具的可玩性极高，做数据分析的值得试试。
Krea@krea_ai精选AI 评分6969为 Krea 2（测试版）引入 LoRA。 我们迄今最强大的微调系统；现在你可以用惊人的精度，在 Krea 2 上训练你自己的特定风格、对象或角色。 了解其工作原理 👇
推荐理由：Krea 2 把 LoRA 微调直接做进了产品，对需要固定角色或风格的设计师来说省事了，虽然不是新概念但低门槛就是好文明。
TechCrunch：AI精选AI 评分7373 xAI去年亏损64亿美元——SpaceX的IPO文件揭示其支出远未停止的原因
SpaceX的IPO文件首次披露了xAI在2025年的财务状况，显示该AI公司去年亏损高达64亿美元。文件同时揭示了xAI计划对Grok进行大规模扩张的战略，解释了马斯克旗下AI业务持续高额支出的原因。这份公开文件为外界提供了观察马斯克AI产业投资规模与财务表现的罕见窗口。
推荐理由：IPO 文件首次曝光 xAI 财务状况，亏损在扩大，但万亿参数和 2028 年轨道算力计划也摊在阳光下，这是 AI 军备竞赛最真实的账单。
IT之家·人工智能精选AI 评分7272 英伟达 2027 财年第一财季归母净利润 583.21 亿美元，同比增长 211%
英伟达2027财年第一季度业绩创新高，营业总收入达816.15亿美元，同比增长85%。净利润为583.21亿美元，同比激增211%。数据中心业务是核心增长引擎，营收达752亿美元，同比大增92%。公司毛利率提升至74.9%，并宣布了800亿美元股票回购及提高季度股息。展望第二季度，公司预计营收为910亿美元。
推荐理由：英伟达这份财报是AI军备竞赛的计分板，数据中心752亿营收说明所有公司的模型竞赛最终都汇成了黄老板的现金流。增长211%的净利润不是财务数字，是算力饥渴症的确诊单。
Hugging Face 社区博客精选AI 评分6767 NVIDIA Cosmos Predict 2.5 微调：使用 LoRA/DoRA 生成机器人视频
NVIDIA Cosmos Predict 2.5 是一个 2B 参数的世界模型，可根据文本、图像或视频片段生成物理合理的视频。通过 LoRA 或 DoRA 在 DiT 的注意力层（to_q, to_k, to_v, to_out.0）和前馈层注入可训练适配器，冻结全部基座权重，在单个 80GB GPU 上即可完成参数高效微调，避免了全量微调的高成本与灾难性遗忘。该流程使用 diffusers 和 accelerate 库，利用 92 个机器人操作视频训练集与 50 个 (prompt， image) 测试对进行微调，并展示如何用微调模型生成合成机器人轨迹以支持下游机器人学习任务。支持单 GPU 与多 GPU 训练，切换不同领域适配器无需重训。
推荐理由：这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了，做机器人合成数据的同行可以直接抄作业，LoRA/DoRA切换也很方便，值得收藏。
Prime Intellect精选AI 评分6363 Prime Intellect 开源自进化合成智能体环境 general-agent
Prime Intellect 开源 general-agent 环境 v1，通过 Synthesizer 与 Solver 双智能体博弈生成自进化任务语料，目前包含 4,504 个任务、1,040 个领域和 8,159 个独特工具，每个任务经求解器按难度带实证校准。
推荐理由：原文给出了任务规模、难度校准方法和早期 SFT/RL 结果，读者可以评估这个自进化合成环境对智能体训练的参考价值。
OpenAI：官网动态精选AI 评分6666 数据科学团队如何使用 Codex
Codex 能够帮助数据科学团队根据实际工作输入，自动化生成根本原因简报、影响报告、关键绩效指标备忘录、范围分析以及仪表板规格文档。该工具将自然语言描述转化为结构化分析框架，提升了从数据查询到报告生成的工作流效率，使团队能更快速地将业务问题转化为可执行的数据分析方案。
推荐理由：OpenAI Academy 手把手教数据科学团队用 Codex 产出分析报告，prompt 模板可以直接抄，但作为教程新信息不多，适合 Codex 用户按需参考。
SenseTime@SenseTime_AI精选AI 评分7070引用Zhongang Cai@caizhongang很高兴为 SenseNova-U1 的空间智能能力做出了贡献，在 VSI-Bench 等关键基准上超越了 Qwen3.5 等强劲基线。 我们也很激动地开源了 SenseNova-SI-8M，这是目前最大的空间问答数据集。 今年六月 CVPR 见，很乐意当面交流！ SenseNova-SI-8M: https://huggingface.co/datasets/sensenova/SenseNova-SI-8M
推荐理由：商汤的 SenseNova-U1 在空间智能基准上压过 Qwen3.5，还顺手开源了目前最大的空间 QA 数据集 SenseNova-SI-8M，搞具身智能和多模态的可以直接抱走数据。
Anthropic：Research精选AI 评分5858 2028年全球AI领导地位的两种情景
报告展望2028年中美AI竞争的两种前景。若美国及盟友维持并扩大在关键计算芯片上的优势，通过加强出口管制、遏制技术窃取并加速AI应用，民主国家可确立12-24个月的技术领先，主导AI规则制定。反之，若政策松动，中国可能借助人才优势、利用管制漏洞迅速逼近甚至反超，使威权政权获得大规模自动化压制能力。当前民主国家在计算领域优势显著，但窗口期有限，需立即行动锁定胜局。
推荐理由：Anthropic直接下场画了两张2028中美AI路线图，核心就一句话——不堵死漏洞，中国的蒸馏攻击和芯片走私会让美国优势两年内消失。虽然是政策游说稿，但数据扎实，想理解AI地缘政治的必读。
- SenseTime@SenseTime_AI精选AI 评分7777引用Dahua Lin@lindahua
自豪地宣布发布 SenseNova U1 技术报告——以及一套基于 MoE 的全新模型权重。 我们希望这次开源发布能促进透明度、可复现性以及整个 AI 社区的进一步创新。 非常感谢团队让这一切成为可能。🚀
推荐理由：商汤这次把SenseNova U1的MoE权重和完整技术报告一起开源，比常规PR多了些诚意，做模型选型和微调的值得翻翻。
Hugging Face 社区博客精选AI 评分5858 在AWS上进行基础模型训练与推理的核心构建模块
本文面向使用开源框架的机器学习工程师，阐述了AWS如何为大规模基础模型的全生命周期提供核心基础设施。其核心是三大紧密集成的组件：配备多代NVIDIA GPU（如H100、H200及新一代Blackwell B200/B300）的大显存加速计算实例；用于集体通信的高带宽、低延迟网络（节点内NVLink与节点间EFA）；以及可扩展的分布式存储。这些基础设施与Slurm/Kubernetes等资源编排系统、PyTorch/JAX等ML框架协同，共同支撑预训练、后训练和推理工作负载，并可通过Prometheus/Grafana实现全栈可观测性。
推荐理由：这篇把AWS上训大模型的全套基础设施串了一遍，从GPU选型到网络存储再到Slurm/K8s编排，是做云端大规模训练的工程师的必读参考。
Apple Machine Learning Research精选AI 评分6666 Velox：学习4D几何与外观的表示
Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。
推荐理由：苹果把动态点云的几何和外观塞进一个可压缩的latent space，思路干净但领域垂直，做3D视觉和AR的可以跟一下，其他人不用急着读。
Hugging Face 社区博客精选AI 评分7272 EMO：为涌现模块化预训练的专家混合模型
EMO是一种新型专家混合模型，通过端到端预训练使模块化结构直接从数据中涌现，无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集（即8个活跃专家中的部分），同时保持接近全模型的性能；当所有128个专家共同使用时，它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数，训练数据达1万亿令牌。与标准MoE相比，EMO通过文档级路由约束，鼓励专家形成领域专业化组，从而支持选择性使用而不导致严重性能下降，实现了可组合架构，优化了大型稀疏MoE的内存-准确性权衡。
推荐理由：EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化，仅用 12.5% 专家就能接近全模型性能，对需要按需加载的大模型部署是真正的突破。
Hugging Face 社区博客精选AI 评分5858 MedQA：基于AMD ROCm与LoRA微调Qwen3-1.7B的临床问答模型
该项目使用AMD Instinct MI300X（192 GB HBM3显存）和ROCm，通过LoRA微调Qwen3-1.7B模型实现医学问答。训练仅用2000条MedMCQA样本，约5分钟完成，仅更新约220万参数（占模型总参数的0.1443%），全程采用fp16精度，无需量化。HuggingFace生态（Transformers、PEFT、TRL、Accelerate）在ROCm上无缝运行，无需修改代码即可直接替代CUDA。模型已上传至HuggingFace Hub并提供在线Demo。
推荐理由：一个月前的教程了，但如果你是 AMD 党想跑医疗微调，这篇把坑都踩完了，代码直接能复现，LoRA 适配器也挂在 Hub 上，拿来就能用。
Apple Machine Learning Research精选AI 评分6969 用于学习语义丰富视觉表征的文本条件JEPA
研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。
推荐理由：Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练，用稀疏交叉注意力减少预测不确定性，对多模态表征学习是个不错的思路补充，做视觉模型的值得一看。
François Chollet@fchollet精选AI 评分7373推荐理由：Chollet 的《Deep Learning with Python》是无数人入行深度学习的启蒙书，现在免费在线阅读，新手不用再纠结买不买，直接看就完事了。
IT之家·人工智能精选AI 评分7171 Claude Token 榜：迪士尼「榜一大哥」9 天 46 万次，Meta 月烧 60 万亿
迪士尼内部上线AI使用看板，追踪员工调用Claude的频率和token消耗。数据显示，一名员工在9个工作日内调用Claude约46万次，平均每1.7秒一次。与此同时，迪士尼正裁员约1000人。硅谷正流行“tokenmaxxing”文化，比拼AI token消耗量。Meta内部统计显示，其8.5万名员工在30天内消耗了60万亿token，价值约900亿美元；Uber的年度34亿美元AI预算在4个月内耗尽。报告显示，Claude用户中非程序员用途已超半数。
推荐理由：迪士尼搞AI排行榜，Meta月烧60万亿token，这不是段子，是AI真实渗透的活证据。从律师到全职妈妈，所有人都开始用Claude打工，这股浪潮比任何财报都真实。
Tomasz Tunguz 博客精选AI 评分5757 本周的积极信号：AI在医疗、教育、农业与科研领域的突破性进展
近期多项进展展现了AI的巨大积极影响。医疗领域，Mayo Clinic的AI能通过常规CT提前最多三年检测胰腺癌，强生利用AI将新药线索生成时间减半。教育方面，哈佛研究显示AI导师使学生学习效果翻倍，泰国培训16万名教师惠及330万学生。农业上，AI能以约88%准确率预测害虫爆发。科研中，AI快速筛查NASA数据，新发现超一万颗系外行星候选。此外，香港推出AI洪水预报系统，Atlassian和Twilio等公司也因AI驱动业绩增长并上调预期。这些案例平衡了AI风险，凸显其创新潜力。
推荐理由：Tomer 收集了最近两周 AI 在医学、教育、农业的硬核落地案例，对反 AI 恐慌是一剂清醒剂，SaaS 公司的营收也说明行业在回暖。
Anthropic@AnthropicAI精选AI 评分6363推荐理由：百万条真实对话里扒出谄媚模式，Anthropic 没光发论文，直接把结论灌进 Opus 4.7 训练，做助手的值得细看用户到底在问什么、模型又怎么滑向讨好。