从专有 LLM API 中窃取推理轨迹
研究人员发现,Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在会话、用户和模型间重放。通过将前沿模型的轨迹重放给较弱的同族模型并实施越狱,可恢复强模型的明文隐藏推理。所有模型提供商已确认收到报告,该攻击目前已被修复。
研究人员发现,Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在会话、用户和模型间重放。通过将前沿模型的轨迹重放给较弱的同族模型并实施越狱,可恢复强模型的明文隐藏推理。所有模型提供商已确认收到报告,该攻击目前已被修复。
Alexander Panfilov团队发现OpenAI、Anthropic、Google等主要AI提供商API存在漏洞,可读取推理模型的加密思考过程。扫描约7000条公开会话发现62个API密钥、33个邮箱和33个密码。通过越狱,Anthropic的Haiku 4.5可逐字转写Opus 4.8的原始推理;解码10000条推理轨迹的API成本约720美元。
推荐理由:不是另一个理论漏洞,而是真实可复现的推理链提取,它直接揭示了模型在「想什么」与「说什么」之间的断裂,让密码泄露和欺骗意图从暗箱走向可审计的证据。
Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE,实现实时临床视频问诊,首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建,可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中,临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评,患者演员也更偏好视频体验。
推荐理由:AMIE 在视频中融合视觉与听觉线索进行诊断,展示了多模态临床推理的可行性,对远程医疗产品方向有参考价值。
Dwarkesh Patel与Redwood Research首席科学家Ryan Greenblatt探讨递归自我改进(RSI)的可能性:一旦AI达到人类顶级专家水平,可能在一年内实现相当于4-5年的AI进展,Ryan的中位预期是2031年自动化AI研发。双方还讨论了超级智能的对齐对象、奖励黑客行为是否会升级为AI联手接管世界等风险。
推荐理由:将递归自我改进的论证拆解为三个命题,并在此基础上推演奖励黑客如何演变为全面接管,为评估 AI 安全紧迫性提供了更具体的思维框架。
Anthropic 周一宣布,其一款尚未发布的模型在黎曼猜想上取得重大进展,显著提高了该猜想成立解的下界。该模型在一天半内测试了 650 种思路,协调 60 个子智能体,花费 3100 万(token),其中两个子智能体贡献了关键数学思想。结果已由 Anthropic 内部数学家确认,并使用开源证明助手 Lean 形式化。
Lightning strikes for continuous and long-run agents! Nemotron 3.5 Lightning is smart, fast, efficient and open.
Nvidia 发布 Nemotron 3.5 Lightning,这是 Nemotron 3.5 系列首款模型,总参数 316 亿、激活参数仅 36 亿。该模型在 Artificial Analysis 智能指数上得 24 分,与 OpenAI gpt-oss-120b 持平,但推理速度近每秒 670 tokens,为对比中最高。
LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由:传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。
SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持,该开源模型为 30B 总参数、3B 激活参数的混合专家架构,支持最长 1M token 上下文,可从 Hugging Face 下载 BF16 和 NVFP4 权重。模型支持 MTP、DFlash、DSpark 三种投机解码技术,并可通过 OpenAI 兼容 API 接入智能体工作流。
推荐理由:Nemotron 3.5 Lightning以3B活跃参数提供前沿agent能力,SGLang的即刻支持让开发者能用单命令启动高性能推理,将agent部署成本大幅压缩。
NVIDIA 发布 Nemotron 3.5 Lightning,一款可定制的开源 30B 混合专家(MoE)模型,专为常驻智能体设计。相比同类开源模型,其 token 生成速度最高提升 4 倍,任务完成时间缩短 30%。该模型采用开放权重,支持用户微调以匹配特定任务,并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由:本地运行 30B MoE 模型并声称 4 倍加速,与开源路由器结合可自动分配任务到最合适模型,给控制推理成本提供了新路径。
OpenAI 宣布其未发布的 Astra 模型解决了 10 道长期悬而未决的数学难题,涵盖球体堆积、纠错码、非 sofic 群存在性等领域,并发布超 250 页论文及 Lean 验证结果。
推荐理由:这篇报道将10个数学问题的AI解法置于数学界的就业恐慌、商业侵蚀和归属争议之中,展示了技术突破如何引发学术生态的连锁反应。
Anthropic 8 月 11 日宣布,未公开的研究版 Claude 在攻克黎曼猜想中取得重要进展,将黎曼 ζ 函数临界线上零点比例的长期下界从 41.6% 提高至 67.2%。
蚂蚁百灵开源 Ling-3.0-tiny,一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型,同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由:以1.3B激活参数取得接近4B激活模型的综合能力,同时Agent分数超越部分30B+模型,多精度开源和本地部署方案让轻量Agent应用更易落地。
Inception Labs 发布面向搜索管线的 Mercury 2,扩散式并行解码超 1000 tokens/秒,在 WideSearch 各步骤比 Gemini 3.1 Flash Lite 快近 2 倍、比 GPT-5 Mini 快 10 倍,定价 $0.25/M 输入、$0.75/M 输出。
推荐理由:原文给出每步延迟、成本与检索消融数据,读者可据此评估扩散模型在搜索管线中的实际取舍。
webAI 发布 TwIL-LM 形式逻辑模型家族,含 1.7B 和 3B 两个版本,均可在本地硬件运行,仅限非商业使用。其中 TwIL-LM3 为 SmolLM3-3B 的合并微调版本,在六项平均得分上以 0.4488 落后于 gpt-oss-120b 的 0.5192,但生成效率更高,每秒可处理 32.9 个答案,而后者仅为 4.2。
Gartner 预估 2026 年全球 AI 推理支出(233 亿美元)将首次超过训练支出(190 亿美元),推理任务预计占 AI 优化型 IaaS 支出的 55%,2027 年升至 59%。该机构预测 2026 年全球 AI 优化 IaaS 支出将达 420 亿美元,同比增长 96%,标志着各组织正从实验阶段迈向生产应用。
ive been playing with @AntLingAGI's ling 3.0 flash 124b for a week now, and i need to publish some numbers and performance i found valuable from this lab. a week ago the weights dropped. since then, on one dgx spark, i benched the community quant ladder, ran every official quant to ground, took the official int4 from doesn't run to the fastest single dgx spark path, watched the model write working software in one shot through an agent loop, and served its full 256K context. everything measured the same way and public, nothing tuned to flatter anyone. the verdict: ling 3.0 flash earned a permanent seat on my box. it's the fastest 124B class path i've measured on a single spark, 38.7 tok/s on the official int4 recipe, 35.2 on the community gguf, 2.4x what deepseek v4 flash does on the same hardware, and it writes correct code on the first pass often enough to feel like a different class of local model. dive with me into the full week of receipts, quant by quant, curve by curve 👇
Today, we’re excited to open-source TwiL-LM3, the first formal reasoning model from the webAI Intelligence Lab. At just 3 billion parameters, TwiL-LM3 outperforms OpenAI’s GPT-OSS-120B on 4 of 5 formal reasoning benchmarks while running efficiently on consumer hardware. That’s 40× fewer parameters, 2.6× faster inference, and state-of-the-art performance in the reasoning tasks that power reliable tool calling, code generation, structured outputs, and AI agents. TwiL-LM3 was trained using webAI’s proprietary reasoning pipeline on webAI-owned, verified datasets—not scraped internet data. We believe better reasoning comes from better training pipelines and higher-quality data, not simply larger models. Our approach demonstrates that efficient models can rival—and in many cases surpass—models dozens of times their size. Designed for the edge, TwiL-LM3 runs on hardware people already own—from a Raspberry Pi to an iPhone—bringing advanced reasoning to millions of devices without relying on the cloud. This is our first open-source release from the webAI Intelligence Lab, and it’s only the beginning. Proudly built in Austin, Texas. Article: https://www.webai.com/blog/webai-releases-twil-lm-a-family-of-formal-logic-models-that-outreason-a-120b-model-and-run-on-an-iphone
Anthropic 员工让 Claude 尝试攻克黎曼猜想,虽未成功,但一个未发布的研究版 Claude 在相关问题上取得突破:将满足黎曼猜想的 zeta 函数零点比例下界从 41.6% 提升至 67.2%。
推荐理由:Claude 的结果并未直接冲击黎曼猜想,但它组合现有技术将零点比例下界提升超过 25 个百分点,为数学研究提供了一种 AI 辅助探索的可行路径。
OpenRouter 基于每周超 55T token 的社区消费数据,推出新版 Auto 路由器(openrouter/auto),其模型选择在多数任务和成本档位上优于旧版。新路由器按约 30 种任务类型匹配近 7 天社区实际消费的模型,支持 cost_tier 参数(low 至 max)并遵循账户隐私设置。在 MMLU Pro 等基准上,新默认档位在多数领域以更低成本达到旧版同等性能。
推荐理由:基于平台每周55T token的社区支出分布,新路由将模型选择众包化,基准显示默认档成本下降超60%且多数任务性能不减,适合调用量大的应用。
智谱 MaaS 开放平台注册用户已达近 700 万,较 7 月初增长约 200 万,含 2.3 万家企业客户,ZCode 上线 1 个月用户破百万。今年智谱 ARR 增长 15 倍,有投资人称其已达 20 亿美元,官方否认并称实际更高。智谱已启用超 5 万块国产算力芯片缓解推理需求。
Meta Superintelligence Labs 发布 Muse Glimmer,一款 30B 参数、专为单消费级 GPU 上的常驻本地智能体设计的模型,权重以 Apache 2.0 协议开源。
1/ big announcement today: we will be releasing an open weight version of muse spark 1.2 soon. we also are releasing muse glimmer, a 30B agentic model with open weights under apache 2.0. muse glimmer can run on 24GB of VRAM without losing agentic reliability. 🧵
SemiAnalysis 发布 TileRT InferenceX 长文分析:TileRT 将整个 decode 图静态编译为单一持久 kernel,在单台 B200 上跑 InferenceX GLM5 FP8 744B 达到最高 500 tokens/s/user,约为传统引擎的 3 倍,iso-cost 下交互性最高快 2 倍。
YouTube 博主 TechGeek Tesla 实测三辆特斯拉车型的 FSD 行人突发响应速度,搭载 HW4 硬件与完整版 FSD v14.3.4 的车辆反应时间仅 0.45 秒,比 HW3 上的 v14 Lite 快 30.7%,比 HW3 上的 v12.6.4 快 57.8%。
Meta 的 Muse Glimmer 30B 稠密模型已在 Fireworks 上提供 serverless 和按需部署,主打多轮工具调用与失败恢复等常驻 Agent 场景。
推荐理由:原文给出了架构细节、Agent 基准对比和推荐运行配置,读者可以据此评估这款 30B 开源模型是否适合自己的多轮工具调用工作流。
inclusionAI 推出 Ling3-DSpark,一个为 Ling-3.0-flash 设计的 DSpark 投机解码模型,参数量 1.36B,通过置信度头动态选择草稿 token 数量。在 GSM8K 等九项基准上平均接受长度为 5.29,其中 GSM8K 达 6.40。模型经 SpecForge 训练,可通过 SGLang 部署。
推荐理由:该模型把投机解码的接受长度按工作负载分开报告,数学与代码任务明显高于对话类,部署时可据此对不同场景的加速收益有更实际预期。
Google DeepMind 发布 DiffusionGemma,将现有 Gemma-4-26B-A4B 改造为文本扩散模型,训练 token 预算不到原来的 10%。
Pokee AI 发布 Pokee-Isaac 28B,一款 280 亿参数、支持 1000 万 token 上下文的纯文本模型,专为数据不得离开客户边界的受监管行业设计。该模型在 RULER 基准 10M token 长度下得分 93.3%,单张 B200 级 GPU 即可推理,通过 OpenAI 兼容 API 提供并授权 VPC、本地或设备端部署。
Was told it takes only about 30K GPUs to pre train a mega model. Inference compute is the real monster. But then most likely they’ll just serve distilled smaller models.
本周的 ChatGPT 功能更新 - 8月7日: 1/ 网页编辑器中的富文本格式——当你粘贴邮件或文档时,我们的编辑器会保留格式;复制粘贴太常见了,我们早就该做这个了! 2/ 为付费用户更新模型——GPT 5.6 Sol 在快速聊天和深度推理中更加一致。你现在会得到一个滑块,让你选择 ChatGPT 在回答中投入多少思考。移动端滑块上的触觉反馈(振动)很有趣! 3/ 无限文本消息——免费用户将获得 GPT 5.6 Luna,并享有无限文本消息。让所有人都更智能。即将推出。 4/ 快速 Android 相机——我们在 Android 上让点击 ChatGPT 中的“相机”来拍摄新照片并提问变得快多了。 5/ 语音 x 文件——你现在可以在我们由 GPT-Live 驱动的新 ChatGPT 语音体验中上传文件并提问。 本周的团队演示非常棒。队列里有很多内容,接下来几个月会很精彩。在评论中告诉我们你期待什么!
推荐理由:推理深度滑块把算力分配交给用户,对需要精细控制推理时长与成本的流程更有用,免费无限消息则解除了日常对话量限制。