Baseten Base Labs 研究:语言模型能否在权重中持续学习事实
Baseten Base Labs 论文追踪写入 Qwen3 权重的虚构事实在后续 20 到 100 次写入后的存留情况。
Baseten Base Labs 论文追踪写入 Qwen3 权重的虚构事实在后续 20 到 100 次写入后的存留情况。
Google Research 推出 SensorFM,一个从 500 万 Fitbit 和 Pixel Watch 用户超过 1 万亿分钟未标注多模态传感器数据中预训练的基础模型。该模型处理光学心率、加速度、皮肤电导、皮肤温度和气压高度等 34 项特征,采用名为“自适应与继承掩码”(AIM)的自监督训练方法。在 35 项健康与行为预测任务中,SensorFM 在 34 项上超越了使用手工特征的有监督基线模型。将 SensorFM 预测结果集成到 Gemini 健康智能体后,临床医生对健康摘要的评分在上下文、个性化、可论证性、相关性和安全性五个维度均显著高于基线版本。模型参数量从约 10 万到 1 亿不等,性能随模型和数据规模同步提升。
斯坦福大学研究人员提出 TRACE,一种能力定向的智能体训练系统。该系统从智能体自身的运行轨迹中诊断出反复出现的失败模式,针对每种能力合成一个可验证的训练环境,为每种能力训练一个 LoRA 适配器,并在专家之间路由模型 token。TRACE 在 τ²-Bench 上提升了 15.3 个点,在 SWE-bench Verified 上达到 73.2% 的 Pass@1。
密歇根大学在《自然·医学》发表 NeuroVFM,一种基于 Vol-JEPA 的通用神经影像视觉基础模型。该模型在包含 524 万份临床 MRI 与 CT 容积影像的 UM-NeuroImages 数据集上训练,采用自监督、仅视觉的潜在空间预测方法,无需标签或放射报告。在 156 项诊断任务中,NeuroVFM 在 CT 上达到 92.68 AUROC,在 MRI 上达到 92.49 AUROC,优于所有基线。完整 Vol-JEPA 训练使用不到 1000 GPU 小时,速度比 3DINO 基线快 7 倍以上。该模型还支持报告生成与分诊,与 Qwen3-14B 结合的 NeuroVFM-LLaVA 系统在分诊准确率上超越 GPT-5 和 Claude Sonnet 4.5。
Alaya Lab 与上海交通大学等机构提出的 AgenticSTS 项目,用五个固定记忆层(L1 协议指令、L2 状态模式、L3 检索规则、L4 历史对局摘要、L5 策略技能库)替代不断增长的对话日志,每次决策仅构建约 5,000 token 的提示词。在最低难度 A0 下,无记忆层时胜率 3/10,启用 L5 技能库后升至 6/10。对比公开智能体 STS2MCP 和 CharTyr,AgenticSTS 每得一分仅消耗其 1/66 至 1/90 的 token 量,且耗时仅为四分之一。跨模型迁移测试中,Gemini 3.1 Pro 积累的记忆使 Qwen 3.6-27B 平均分提升 84.5%,但 Deepseek V4-Pro 分数下降 18.1%,记忆内容与创建模型强绑定。
OpenAI 宣布其 GPT-5.6 Sol Ultra 模型在不到一小时内生成了图论难题“循环双覆盖猜想”的完整证明。该猜想由数学家 George Szekeres 和 Paul Seymour 于 1970 年代提出,悬而未决超过 50 年。模型通过调用 64 个并行子智能体及对抗智能体,在预留的 8 小时计算时间内仅用约 1 小时完成证明。OpenAI 已将证明及提示词以 PDF 形式发布。该证明尚未经同行评审,也未使用 Lean 等形式化工具验证。若通过验证,这将是 LLM 首次独立解决维基百科“未解决数学问题”列表中的难题。
AMD 在 2026 年度 I3D 研讨会上公布 PEPS(位置编码投影采样)技术,用于神经纹理压缩。该技术将每个正弦/余弦投影视为李萨如曲线上的点并采样,在保持画质前提下将模型参数量削减 25%。在 Radeon RX 9070 XT 上,生成 1024×1024 三通道纹理时,BI-grid 基准耗时 4.32 毫秒,Grid-PEPS 增至 5.47 毫秒,优化后的 Grid-PinkPEPS 降至 4.86 毫秒。在 Pitted Stonefish SDF 测试中,Grid-PEPS 编码器参数仅为非 PEPS 方法的八分之一时,仍能达到几乎相同的交并比(IoU)。目前 AMD 尚未为该项技术确立正式商用品牌名称。
韩国UNIST在IEEE/JSAP研讨会上提出V-Die方案,将DRAM侧立放置并取消TSV,改用底边I/O连接,相邻裸片间加入液冷通道。与HBM4等容量对比下,V-Die在GPT-3规模工作负载中达540 tokens/s,HBM4为296 tokens/s,高出82.43%。底边连接间距20微米,连接数量可达HBM4的4倍,内存读取时间下降37%。16层堆叠仿真中首Token时延降低32%(约24毫秒),微流体冷却可将堆叠温度维持在约45°C。东京大学牵头团队提出的MOSAIC方案采用正交裸片堆叠与无接触裸片互连,原型接口速率最高达4 Gbps/通道,可实现HBM4级容量的2倍。
PromptArmor 自 5 月中旬至 6 月底追踪 Claude 和 ChatGPT 的第三方连接器,发现 2517 个连接器中 931 个发生了能力或权限变更,新工具、权限范围、注入指令等在审批后持续漂移且缺乏重新确认机制。
推荐理由:研究用一手监测数据量化了连接器审批后的能力漂移,读者可据此重新评估组织的连接器治理流程。
昨天,我们让 GPT-5.6 Sol Ultra 正式全面可用。今天,我们分享它使用 64 个子代理,在不到一小时内就给出了已有 50 年历史的 Cycle Double Cover 猜想的证明。我们在下面分享提示词和证明。我们很期待看到大家用 Ultra 做出什么!
推荐理由:GPT-5.6 Sol Ultra 靠 64 个子智能体一小时证明了半世纪未解的数学猜想,这不再是刷 benchmark——这是 AI 首次在公开模型上做出真正的科学发现。做数学和理论物理的人该认真看看 prompt 和证明。
推荐理由:人形机器人首次在活体动物上完成标准微创手术,成本仅为达芬奇零头,虽然离临床还很远,但信号明确,手术机器人可能被重新定义。
DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。
推荐理由:把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Amazon 与密歇根大学提出 HydroShear,为仿真器加入路径依赖力追踪能力,可精确建模触觉剪切力,让机器人在仿真中学习接触密集型操作策略并零改动迁移到真实世界。在 Franka 机器人搭配 GelSight Mini 传感器的四项任务中,HydroShear 平均成功率达 93%,高于 TacSL 的 34% 和 FOTS 的 58% 至 61%。
小红书提出 PIPO 架构,通过输入侧压缩器将两个 token 折叠为一个 latent,输出侧 MTP head 将隐藏状态展开为额外 token,实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone,在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中,TTFT 加速约 1.23×,TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段,将 verifier 校验能力蒸馏进轻量 confidence head。
推荐理由:PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
小红书大模型基建团队提出新架构 PIPO(Pair-In, Pair-Out),通过压缩器将两个输入 token 折叠为一个 latent、MTP head 每步展开为两个输出 token,实现输入长度减半、单步输出翻倍。
Google Research 推出 SensorFM,一个用于可穿戴时间序列表征学习的大传感器基础模型。它以 ViT-1D 为骨干,采用掩码自编码器目标训练,输入来自 PPG、加速度计等五种传感器的 34 个一分钟聚合特征,上下文窗口为 24 小时。预训练数据涵盖 500 万参与者、超 20 亿小时(超 1 万亿分钟)数据。提供四种规模变体,最大变体 SensorFM-B 在 35 项任务中 33 项表现最优。模型采用自适应与继承掩码(AIM)处理缺失数据,随机插补任务相比最佳基线提升 74.8%。
Grok 4.5 just constructed an explicit counterexample to hypercontractivity for the Poisson semigroup (the square root of the Laplace–Beltrami operator) on the 4-sphere. Back in 2021, with Rupert Frank https://arxiv.org/abs/2101.06209 we proved that hypercontractivity holds in dimensions ≤3 and fails in sufficiently large dimensions (for example, in dimension 13). Grok's example shows that it already fails in dimension 4, making our earlier result sharp. I also tested this problem on several other frontier AI models. One of them also managed to find a counterexample, but I particularly like Grok 4.5's solution: it is explicit, simple, and elegant. The attached files were generated entirely by Grok 4.5 build (with zero intervention on my side).
研究人员披露名为 HalluSquatting 的新型 AI 漏洞,利用模型在调用工具时的幻觉,将不存在或错误的代码仓库地址当作真实地址使用。特拉维夫大学、以色列理工学院和 Intuit 的研究显示,Claude 等代码智能体在收到“运行 windowstelemetryoff 脚本”等指令时,可能自行补全出看似合理但实际错误的仓库地址,并在执行网页搜索后仍访问恶意版本。量化结果中,模型对近期仓库位置的幻觉率最高达 85%,对热门智能体技能可达 100%。应用层攻击成功率分化:Cursor、Gemini CLI 和 Copilot 为 20%-35%,OpenClaw 及其变体接近 80%-100%。
Grok 4.5 just constructed an explicit counterexample to hypercontractivity for the Poisson semigroup (the square root of the Laplace–Beltrami operator) on the 4-sphere. Back in 2021, with Rupert Frank https://arxiv.org/abs/2101.06209 we proved that hypercontractivity holds in dimensions ≤3 and fails in sufficiently large dimensions (for example, in dimension 13). Grok's example shows that it already fails in dimension 4, making our earlier result sharp. I also tested this problem on several other frontier AI models. One of them also managed to find a counterexample, but I particularly like Grok 4.5's solution: it is explicit, simple, and elegant. The attached files were generated entirely by Grok 4.5 build (with zero intervention on my side).
PromptArmor 审查了当时可用的 487 个 Claude Connectors 共 7517 个工具,发现其中 189 个(约五分之二)的 386 个工具很可能在下游调用其他 AI 服务。
推荐理由:原文给出了 Claude Connectors 二次调用外部 AI 的实测比例、工具分类和具体风险,读者可据此评估企业数据流合规。
Apple机器学习研究团队提出训练无关诊断框架,以每个token、每个问题、每个教师的分辨率分析on-policy蒸馏。通过可扩展targeted-rollout算法估计理想梯度,并计算蒸馏梯度与理想梯度的余弦相似度(梯度对齐分数)。实验发现,蒸馏指导在错误rollouts上的对齐程度显著高于正确rollouts;最优蒸馏上下文取决于学生模型容量和目标任务,无通用配置。这些发现推动每任务、每token的诊断分析。
Apple 机器学习研究团队提出 SRLM 框架,利用自一致性、推理链长度和口头置信度三种内在信号,让模型在推理时评估候选长上下文交互程序。实验表明,在相同时间预算下,SRLM 较传统递归语言模型(RLM)最高提升 22%。分析发现,递归本身并非 RLM 性能关键,简单的自反思程序搜索无需显式递归即可匹配或超越 RLM;在模型上下文窗口内,RLM 反而降低性能,而 SRLM 在短上下文和长上下文中均实现稳定增益。
多模态大语言模型(MLLM)在第一人称视频理解中缺乏时序感知,常依赖空间捷径。为此,研究者提出 Temporal Global Policy Optimization(TGPO),一种基于可验证奖励的强化学习算法。TGPO 通过对比模型在时序有序与打乱帧上的输出,生成全局归一化奖励信号,明确奖励时序连贯推理。TGPO 可集成 GRPO 和 GSPO,支持冷启动 RL 训练,抑制 MLLM 的空间捷径行为。在五个第一人称视频基准上,TGPO 一致提升时序定位与因果连贯性,优于此前基于 RL 的视频推理方法。
美国加利福尼亚大学圣迭戈分校团队利用两台宇树 G1 人形机器人,成功实施两例大型非灵长类哺乳动物活体胆囊切除手术,其中一例由单台机器人协助医生,另一例完全由医生远程操控两台机器人完成。成果于7月8日发表在《Nature》。相比传统专用手术系统(重约816.5千克),人形机器人小巧可移动,适用于偏远地区,但需多次校准,操作耗时长,控制延迟有待优化。
上海交通大学、百度智能云、地瓜机器人联合发布 dVLA-RL 强化学习训练框架,首次实现经典 PPO 算法与离散扩散 VLA 的适配,使其能从模仿人类动作走向自主交互迭代优化。实验基于百度百舸 AI 计算平台完成。在 RoboTwin 2.0 基准测试中,模型成功率从 SFT 阶段的 61.4% 提升至 92.0%。论文提出的 Hybrid Denoising Steps 方案根据任务复杂度动态分配去噪步数,将平均推理延迟从 728.92 ms 降至 387.24 ms,训练耗时从 845.95 秒缩短至 607.89 秒,为机器人 Foundation Model 建立完整技术链路奠定基础。
新研究提出GRAM训练方法,可将病毒学等双用途AI能力放入可移除模块。Anthropic表示很高兴与AE Studio合作完成这项研究。
New research! Some AI capabilities are both helpful and dangerous. E.g., knowledge of virology can be used to create life-saving vaccines or deadly pathogens. We introduce GRAM, a training method that puts dual-use capabilities (like virology) into removable modules.
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由:这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
OpenAI 对编码评测基准 SWE-Bench Pro 进行详细审计,发现约 30% 的任务存在缺陷。在 731 个任务的公开子集中,前沿模型通过率在八个月内从 23.3% 提升至 80.3%,但数据质量检查显示大量任务存在测试过于严格、提示词描述不足、测试覆盖不全或误导性提示等问题。OpenAI 建议模型开发者仔细审视评测结果,并指出 AI 智能体在规模化数据质量检查中日益增长的实用性。
推荐理由:OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Anthropic 让多个大语言模型控制多种机器人形态,包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人:从直接驱动电机扭矩,到编写控制器代码,再到用强化学习训练控制器,以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中,模型表现高度依赖控制接口:直接驱动关节时大多失败,但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。
提示注入已成为AI安全的首要威胁——大语言模型无法区分合法指令与恶意指令。此前推送式和拉取式攻击规模均有限。研究人员提出一种名为HalluSquatting的新型拉取式提示注入攻击,首次能组装大规模僵尸网络、执行分布式拒绝服务攻击(DDoS)并大规模感染设备。该攻击可作用于AI编码工具,标志着提示注入攻击从单点突破转向规模化利用。
推荐理由:这项研究首次揭示了利用 LLM 幻觉进行大规模 botnet 攻击的可行路径,影响范围覆盖几乎所有主流 AI 编程助手,每个依赖这些工具的开发者都该看一眼。
英伟达今年6月推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数30B、激活参数3B。骨干为52层混合 Mamba-Transformer 结构的 Nemotron-Cascade-2-30B-A3B,含128个可路由专家、每次激活6个。音频输入经 AF-Whisper 编码后映射到文本嵌入空间,输出词表从131072个 token 扩展至205312个。语音输出采用 X-Codec2(每秒50 token,单层有限标量量化),非语音音频采用 X-Codec(每秒200 token,4层展平残差向量量化)。文本评测方面,Audex 在 MMLU-Redux 得分86.4(骨干86.3),IMO AnswerBench 得分81.1(骨干79.3),MMLU-Pro 与 GPQA-Diamond 小幅下降。
AE Studio 与 Anthropic 合作提出 Gradient-Routed Auxiliary Modules(GRAM),通过在 Transformer 每层 MLP 中加入辅助模块,将双用途知识(病毒学、网络安全、核物理、专用代码)隔离到可开关的模块中,删除模块即可移除对应能力。
Cognition 构建了一套模型可信度评测套件,用 145 个政治敏感问题(英文、简体、繁体中文各五次采样,按六个维度评分)和真实编码场景测试模型宣传倾向与差分安全行为。
苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害内容。整个过程无需训练或提示工程。结果表明安全对齐由个别神经元因果控制。
推荐理由:苹果发现单个神经元足以绕过大模型安全对齐,在7个模型上验证了攻击,说明安全机制并非稳健分布,做安全攻防的必读。
FlowEval是一个基于参考的评估框架,用于衡量大语言模型(LLM)和编程智能体生成的用户界面(UI)是否支持真实的交互流程。它通过动态时间规整等参考相似度指标,比较真实网站的导航轨迹与生成UI的对应轨迹。小规模专家评估表明,FlowEval的指标与人类判断高度相关,为UI生成系统提供了可扩展且可信的自动评估方法。
苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Weblica-8B在多个网页导航基准上超越同等规模的开源模型,推理步骤更少,测试时计算扩展性良好,性能与API模型相当。
推荐理由:Apple 的研究把 web agent 训练从零散数据中解放出来,可复现环境是规模化 RL 的关键一步,做 web 自动化的值得关注。
针对单轮图像编辑模型在多轮交互中因单轮失败导致序列中断、误差累积的问题,提出 MT-EditFlow 流匹配强化学习框架。该框架整合多轮视角与多奖励公式,统一支持 GRPO 和 NFT 类强化学习方法,并系统分析轮次聚合评分策略、VLM 推理模式(权衡奖励偏差与方差)以及优势融合层级(防止奖励黑客行为)。研究发现将聚合优势广播至整个编辑轨迹能弥合局部规划与全局多轮任务成功之间的差距。实验表明,MT-EditFlow 在多种基模型上显著提升性能,其中 FLUX.1-Kontext-dev 的 turn-3 整体性能提升 6.85 分,超越 Qwen-Image-Edit 等开源模型。
LensVLM 是一种推理框架与后训练方法,使视觉语言模型扫描压缩文本图像后,通过学到的工具仅展开相关区域。基于 Qwen3.5-9B-Base,在 7 个文本 QA 基准上,4.3× 有效压缩时准确率与全文本上限相当,在 10.1× 有效压缩时优于检索、文本压缩和视觉压缩基线。该方法还可泛化至多模态文档和代码理解任务。分析表明视觉压缩对渲染选择更鲁棒,随压缩增大模型更依赖展开内容;文本展开适合渲染文本,高分辨率图像展开适合含布局线索的原生文档。