数据与训练 最新动态

Qwen@Alibaba_Qwen· 22:43精选AI 评分7373

Qwen团队推出开源稀疏自编码器套件Qwen-Scope，将SAE特征转化为实用工具。该套件支持四大应用方向：无需提示工程即可通过直接操控内部特征引导模型输出；用极少样本对目标数据进行分类与合成，提升长尾能力；追踪代码切换和重复生成问题的根源并进行修复；通过分析特征激活模式优化评测基准并减少冗余。团队希望社区利用Qwen-Scope深入探索Qwen模型内部机制，并开发出超越现有研究范围的应用。相关资源已开放。

Where the goblins came from：GPT-5 行为中“妖精”输出的起源

研究揭示了GPT-5等AI模型中“妖精”输出的传播路径、时间线与根本原因。这些由特定“人格”驱动的怪异行为，源于训练数据中意外混入的特定模式或“文化基因”。开发团队已识别出问题根源，并正在部署修复方案，通过调整训练数据和微调模型来消除此类非预期的个性特征，以提升模型行为的稳定性和可预测性。

Reiner Pope – 大语言模型训练与服务的数学原理

文章揭示了支撑大语言模型（如GPT、Claude、LLaMA）训练与服务的核心数学框架。通过剖析关键方程，可以逆向推导出顶尖AI实验室在模型规模扩展、计算资源分配及服务优化方面的核心策略与实践。这些数学原理不仅解释了模型性能随参数和数据量增长的规律，也量化了训练成本与推理效率之间的权衡，为理解当前大语言模型的发展路径提供了底层逻辑。

FlashQLA: 面向GDN的CP-/Bwd友好型融合线性注意力内核

FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好，旨在提升训练效率。该技术通过优化内核融合策略，改进了注意力机制的计算性能，是提升大规模模型训练速度的关键底层优化。

LaDiR：潜在扩散模型增强 LLM 的文本推理能力

研究团队提出LaDiR推理框架，将连续潜在表征的表达能力与潜在扩散模型的迭代优化能力相结合，以增强现有大语言模型的推理性能。该框架首先构建一个结构化的潜在推理空间，通过扩散过程对潜在状态进行迭代细化，使模型能够全局性地重新审视和修正推理路径中的早期内容。这种方法突破了传统自回归解码在整体优化和多样化解决方案探索方面的限制，提升了链式思维生成的质量与效率。

Ecom-RLVE：面向电子商务对话代理的自适应可验证环境

Ecom-RLVE 是一个为电子商务对话代理设计的自适应可验证环境。该环境支持智能体在模拟且可验证的电商场景中进行训练与评估，通过动态调整交互难度和规则约束来提升对话系统的鲁棒性与适应性。其核心在于结合强化学习与验证机制，确保智能体行为既符合商业逻辑又可追溯，为电商对话系统的开发与测试提供标准化、可复现的实验平台。

Anthropic 构建 Automated Weak-to-Strong Researcher，AI 智能体在弱到强监督研究上超越人类基线

Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体（AAR），9 个并行智能体在 5 天内（累计 800 小时）将弱到强监督的 performance gap recovered（PGR）提升至 0.97，而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23，总成本约 18,000 美元。

以165美元成本训练25个物种的mRNA语言模型：构建从结构预测到密码子优化的AI流程

OpenMed团队构建了一个覆盖蛋白质结构预测、序列设计和密码子优化的端到端AI流程。在密码子优化环节，CodonRoBERTa-large-v2模型以4.10的困惑度和0.40的斯皮尔曼CAI相关性显著优于其他架构。研究将训练扩展至25个物种，仅用55个GPU小时训练了4个生产级模型，并建立了独特的物种条件化系统，实现了从蛋白质概念到合成就绪DNA序列的快速转化。完整代码与实验结果已开源。

Boost Training Goodput: 连续检查点功能如何优化 Orbax 和 MaxText 的训练可靠性

Orbax 和 MaxText 引入了连续检查点新功能，旨在优化模型训练中可靠性与性能的平衡。它改变了传统固定频率检查点的模式，通过在前一个保存操作成功完成后才异步启动新操作，最大化I/O带宽并降低故障风险。基准测试表明，该方法显著缩短了检查点间隔，并实现了可观的资源节约，这在平均故障间隔时间较短的大规模训练任务中效果尤为突出。

一日之内构建领域特定嵌入模型

英伟达在Hugging Face平台发布技术博客，分享了一种在24小时内快速构建高质量领域特定嵌入模型的方法。该方法通过结合高效微调技术与领域数据，显著提升了模型在专业任务中的语义理解与检索性能，为企业和开发者提供了低成本、高效率的定制化嵌入解决方案。

Dylan Patel — 深度剖析 AI 算力扩展的三大瓶颈

Dylan Patel 深度解析了制约 AI 算力规模扩张的三大核心瓶颈：电力基础设施限制、先进制程芯片产能不足以及网络互联带宽瓶颈。尽管 NVIDIA H100 已发布三年，受供需严重失衡及新一代芯片交付延迟影响，其市场价格与战略价值持续攀升，当前实际价值甚至超过发布初期。文章指出，这些结构性约束正重塑 AI 基础设施的投资逻辑与部署节奏。

Answer.AI 用 PyPI 数据检验 AI 生产力效应：包创建未见激增，热门 AI 包更新频率翻倍

Answer.AI 分析 PyPI 数据后发现，ChatGPT 发布后 Python 包创建率没有明显上升，整体更新频率的缓慢增长早在 2019 年就已开始。但热门 AI 相关包更新频率跃升至每年 21-26 次中位数，是热门非 AI 包（约 10 次）的两倍多。

Noam Brown@polynoamial· 00:17精选

当今前沿推理模型的训练路径与 AlphaGo 高度一致：先模仿大量人类数据，再扩展推理计算（从蒙特卡洛树搜索到思维链），最后用强化学习突破模仿上限。Demis Hassabis 称，十年前 AlphaGo 的"第37步"预示 AI 可攻克真实科学难题，这些思路对构建 AGI 仍至关重要。

改进前沿 LLM 的指令层级

IH-Challenge 训练模型优先处理可信指令，改进指令层级、安全可控性，并提升对提示词注入攻击的抵抗能力。

Hugging Face Hub 正式推出 Storage Buckets 存储服务

Hugging Face Hub 发布 Storage Buckets，这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。它基于 Xet 存储后端，能对跨文件共享内容的 ML 工件进行高效去重，从而节省带宽、加速传输并降低存储成本。该服务还提供“预暖”功能，可将数据预先迁移至靠近计算资源的云区域，以提升分布式训练等场景的效率。目前支持 AWS 和 GCP，用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶。

Ulysses Sequence Parallelism: 实现百万令牌上下文的训练

研究团队发布了Ulysses序列并行方法，这是一种用于训练大型语言模型的新技术。该方法通过将长序列在设备间进行特定维度的分割与重组，实现了对极长上下文的并行处理。其核心变化在于能高效训练上下文长度高达百万令牌的模型，突破了现有方法在序列长度上的扩展瓶颈。这一进展使得在保持高训练效率的同时，处理书籍、长文档等超长文本成为可能，为推进AI的民主化与开源发展提供了关键技术支撑。

PRX 第三部分 —— 24小时内训练一个文本到图像模型！

Photoroom团队在Hugging Face上发布博客，宣布成功在24小时内完成一个文本到图像模型的训练。这一突破将此类模型的典型训练周期从数周大幅缩短至仅一天。实现的关键在于采用了名为PRX的高效训练方法，该方法优化了计算资源分配与数据处理流程。此举显著降低了模型训练的时间与成本门槛，为快速迭代和部署高质量的图像生成AI模型提供了新的可能性。

Cognition 发布 SWE-1.6 早期预览并分享 RL 训练研究进展

Cognition 发布 SWE-1.6 早期预览，当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%，达到 51.7%，速度同为 950 tok/s，并向小部分用户开放早期访问。

Jim Fan@DrJimFan· 01:22精选

研究团队提出EgoScale方法，基于20,000小时第一人称人类视频预训练GR00T N1.5，仅用4小时机器人数据即可掌握组装模型车、操作注射器等高灵巧度任务，性能较从头训练提升54%。研究发现人类视频量与动作预测损失呈对数线性缩放关系（R²=0.998）。该方法利用22-DoF手部与人类的运动学相似性，无需复杂迁移算法即可重定向动作。策略可跨硬件迁移至Unitree G1（7-DoF），性能提升30%以上，且仅需单个示教即可学习新任务。

蒸馏对中国 LLM 到底有多重要？

针对 Anthropic 关于"蒸馏攻击"的最新论述，分析模型蒸馏技术对中国大语言模型的实际影响。探讨通过蒸馏 GPT、Claude 等模型来训练中国 LLM 的效果与争议，评估该方法在提升模型性能与降低训练成本方面的作用，以及可能引发的知识产权与安全问题。