SemiAnalysis 解析 GLM5.3 稀疏注意力对 HBM 内存与推理成本的影响
SemiAnalysis 分析 GLM5.3 的 DeepSeek Sparse Attention 如何影响 HBM 内存使用,指出 top-k 选择仍需完整上下文驻留 HBM,稀疏注意力并不直接降低内存容量瓶颈。
SemiAnalysis 分析 GLM5.3 的 DeepSeek Sparse Attention 如何影响 HBM 内存使用,指出 top-k 选择仍需完整上下文驻留 HBM,稀疏注意力并不直接降低内存容量瓶颈。
Today we’re introducing Base Code. It’s an early preview of how we think software will be built in the future. It’s a product that encapsulates everything we’ve learnt from: - How our users are building software. - How we’re building internally, scaling to hundreds of millions of dollars in revenue while keeping our engineering team very small and focused. Here are some of the principles behind it, which align with how we at @Base44 think about the future of software engineering: Cloud: - Software will move past local desktop environments (where current tools are widely used) and move to the cloud. - Moving everything to the cloud is not easy. Setting up dev environments with databases, infra components, services, mock data, etc. is easier said than done. - Base Code first scans your code repo and sets up everything - every infra component (databases, Redis, etc.) - in the cloud. It runs nonstop until your preview environment is ready. - From an enterprise standpoint, it’s also the logical thing to do: a centralized, governed dev environment instead of handing out keys and secrets to all team members. - Once Base Code does that, EVERY team member can work in this environment. No more syncing local environments. Internally, this (cloud) is one of the main things that enabled us to move so fast. Collaboration: - Once everything is in the cloud, everybody can write software from anywhere (any browser, your phone, WhatsApp / iMessage coming soon). - You can easily see what everyone is working on, where they’re at, and how they’re prompting - and jump to their environment in one click. - We’ve built many great collaboration features from the ground up. Loops, automations, software factories: - A full, working cloud environment allows for many advanced capabilities we will unveil soon-think agents running in the browser and testing on every device and in any browser. - It also allows the use of automations to build software factories-e.g., agents reading support tickets, identifying bugs to fix or features to develop, implementing the changes, verifying them in the cloud, and potentially pushing them. And lastly, there’s a real advantage in being model agnostic. -------------- As always, we’re releasing it very early. It’s far from perfect-but we’re looking for early feedback so we can build it together with our great community and make this vision a reality. *We’re giving it away for free for 30 days*. Give Base Code a try. Connect any GitHub repo, get your live preview, and share it with your team. I’d love to hear what works and what doesn’t: http://app.base44.com/base-code
Meta 宣布启动新业务板块 Meta Enterprise Platform,帮助企业用 AI 实现增长和转型。初期将向企业和开发者开放全栈技术,包括 Muse agent、Meta Business Agent、Muse API 和 Muse Code。
Anthropic 在 claude-api skill 中新增 /claude-api build-eval 和 /claude-api hillclimb 两个命令,前者在代码库内通过访谈式流程构建评测集并验证 grader,后者以一次一改动、train/test 分离并检测过拟合的方式迭代优化应用。
推荐理由:Anthropic 官方讲解了评测设计的关键原则,并给出 build-eval 和 hillclimb 两个命令的用法与真实优化案例,可迁移到自己的应用调优。
Anthropic 官方文档介绍针对 Claude Opus 5.5 的提示词模式,覆盖 effort 校准、无人值守智能体运行、安全拒绝、进度更新、多应用工作流、视觉输入和前端设计等场景。
推荐理由:官方文档梳理了从 Claude Opus 5 迁移到 5.5 时的具体提示词与 harness 调整点,可直接对照排查现有集成的问题。
NVIDIA 发布 Open Agent Safety Platform,包含开源软件 OpenShell 和参考系统设计 NVIDIA Sentry,为智能体提供从测试到部署的全栈治理与控制。
同一件事,精选收录的是《NVIDIA 发布开源智能体安全平台,提供芯片级持续监控与隔离》
MarkTechPost 整理了 TypeSafe AI 首个 System One 决策模型 Jev 的 20 个智能体用例,涵盖模型路由、工具调用风险把关、重排、引用核验与提示词注入筛查等。
开发者 Daniel 的 DLSS-NR-on-AMD 工具可让 AMD Radeon 显卡运行 DLSS 5 神经渲染,支持 RX 9000 系列,据报道也可用于 RX 7000 系列。
OpenCode 宣布“Operation Cheepseek”第二阶段启动,DeepSeek V4.1 Flash 在 OpenCode Go 中的 60 美元额度(约合 403.5 元人民币)由限时调整为永久有效,原 15 美元额度被划线标记。
Nvidia 研究人员提出 SoL-Pi 系统,用研究 agent 自动优化编码 agent 的控制层(harness),在 EdgeBench 上相比 Codex 节省 50%、相比 Claude Code 节省 54.3% 的 token,性能与原 Pi harness 大致持平。
本教程基于 AugLy 构建覆盖图像、文本、音频的端到端多模态数据增强与鲁棒性工作流。教程解决依赖兼容问题,生成确定性合成数据集,演示 AugLy 的函数式与类式 API。
Liquid AI 发布 LFM2.5-VL-3B-DSpark,一个为其视觉语言模型 LFM2.5-VL-3B 设计的实验性投机解码草稿模型,新增约 279.5M 参数(+8.9%),在 Apple silicon 上解码最高提速 3.13 倍,NVIDIA H100 上最高 2.66 倍。
Akamai 宣布与 Anthropic 签署为期 7 年、价值 116 亿美元的合同,将以其分布式人工智能基础设施和软件满足 Anthropic 日益增长的 CPU 工作负载需求。
LangChain 发布教程,讲解如何结合 TypeSafe 新发布的决策模型 Jev 与 LangGraph 构建“prod, not god”的生产系统。
推荐理由:文章用文档审查和浏览器自动化案例演示了决策模型加 LangGraph 的组合方式,读者可以借鉴把确定性代码与模型判断拆开编排的思路。
英国 neocloud 厂商 Nscale 宣布在年内 IPO 前获得 33.6 亿美元可转债融资,其中 23.6 亿美元即时到账,另 10 亿美元来自现有投资者 Nvidia,将于 11 月中旬到位,IPO 完成后转为股权。
Meta 的 AI 聊天机器人 Muse 现在会主动打包整个文件系统供用户下载,Meta Superintelligence Labs 的 David Singleton 称这是刻意设计,Muse Secure VM 是用户自己在云端可自由操作的 Linux 机器。
SemiAnalysis 发布 China Datacenter Model,追踪中国 1,000 多座数据中心设施、覆盖 60 多家运营商,测算中国存量容量超过 24GW,另有约 20GW 在建和约 30GW 已公布项目。
opencode 宣布其平台上 DeepSeek v4.1 Flash 的 60 美元用量额度转为永久提供,此前该额度为阶段性活动。
Aikido Security 发布首个开源权重安全模型 Altar-1,将 Z.AI 的 GLM-5.3 经 AWQ 4-bit 量化和 Cerebras REAP 专家剪枝(每层保留 168/256 个专家)从 1,506.7 GB 压缩到 328 GB,缩小 78.2%。
GitHub 工程师 Josh Black 复盘将 Primer 设计系统从 CSS-in-JS 迁移到 CSS Modules 的历程。截至 2024 年 12 月 Primer 全部组件迁移完成,服务端渲染时间减少 55%,组件初始化时间减少 25%。
推荐理由:原文给出大厂从 CSS-in-JS 迁移到 CSS Modules 的完整路径和量化收益,可迁移到类似的前端架构改造。
Gleb Otochkin 在 AlloyDB Omni 上用 3 万行商品数据和 vector(768) 嵌入,实测语义搜索、过滤查询和多表 join 三类场景下向量与业务数据同表存储与独立嵌入表加主键 join 的性能差异。
Meta Superintelligence Labs 工程副总裁 David Singleton 表示,每位 Muse 用户可获得一台免费云端电脑,运行完整 Ubuntu Linux 镜像,可安装软件、编译代码或浏览网页。
据英国《卫报》报道,被称为英国最大 AI 超级计算机的埃塞克斯郡劳顿数据中心项目无法按原定 2027 年启用,UKPN 告知建设方 Nscale 电网要到 2030 年代初至中期才能提供足够电力。
Anthropic 工程师 Addy Osmani 拆解 Opus 5.5 在 Claude Code 中完成任务的成本构成:turns、缓存读取、输出 token 和模型选择四个因素决定账单。Opus 5.5 输入输出价格比 Opus 5 降 20%,缓存读取降 60%,官方估算典型任务整体运行成本低 40%;文中还给出 effort 分级、缓存命中率维护、/usage 自查等省钱做法。
推荐理由:原文拆解了 Opus 5.5 上一个任务的账单构成,并给出 effort、缓存、压缩等可自查可迁移的成本优化方法。
LangChain 在 Interrupt NYC 上发布多项 LangSmith 更新:Engine v2 新增 Red Teaming 主动排查、检测性能趋势与低效工具调用,并可自动验证修复后一键开 PR,自 5 月上线以来已分析超过 60M 条 traces。
推荐理由:官方一次性发布覆盖开发闭环的多个功能,读者可据此评估自家 agent 生产流程哪些环节能用得上。
Fastino Labs 发布 340M 参数开源权重决策模型 GLiNER2.5-Decide,接受文本和类型化问题 schema,返回带概率分布、置信度和约束可行性元数据的结构化答案,权重采用 Apache 2.0,可运行于 CPU、GPU 或气隙环境。
@minchoi Colossus 1 is 150k H100, 50k H200 and 30k GB200. Colossus 2 is 110k GB200 and 440k GB300. Another 220k GB300 will be fully operational next week and another 220k in November. If we get lucky, yet another 220k GB300 by late December.
高通在 2026 骁龙峰会宣布 Modular 平台将进入骁龙等完整产品组合,微软与 Modular 合作让 Mojo 编程语言原生支持 Windows。高通于 2026 年 7 月 29 日完成对 Modular 约 39-40 亿美元的收购,Mojo 1.0 已发布并开源标准库、编译器和工具链,目标是让同一套 AI 软件在 GPU、NPU、数据中心 ASIC 等架构及本地与云端间运行。
The Verge 记者 Justine Calma 评析黄仁勋在 The Ezra Klein Show 上的言论,黄仁勋称 AI 拯救气候前不得不先使用化石燃料、造成痛苦。
Introducing Fast Search in the Perplexity Search API. Fast Search runs on Photon, our new Rust-based retrieval and ranking service that we built with a small team of engineers and hundreds of agents. It returns 95% of search results in 230 ms or less.
Google 的 Suncatcher 项目计划在轨道上以太阳能运行 AI 基础设施,一颗冰箱大小的试验卫星 MVP 定于 10 月 1 日搭乘 SpaceX Falcon 9 从加州 Vandenberg Space Force Base 发射。
vLLM 宣布支持基于 Gumbel-max 算法的无失真水印,将其集成进 Model Runner v2 的采样管线,并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重,以兼容投机解码并保持输出多样性。
推荐理由:原文给出水印算法原理、双键与去重方案及实测吞吐数据,读者可评估在生产环境启用水印的可行性与代价。
Google 将于 10 月 1 日通过 SpaceX Falcon 9 的 Transporter-18 拼车任务发射首颗 Project Suncatcher 试验卫星 MVP,验证轨道 AI 数据中心的可行性。
Factory 宣布 Factory Router 的生产环境推理成本节省从 6 月下旬的 42% 升至截至 9 月 13 日当周的 63%,同期路由会话量增长约四倍。
Google 团队用 MaxText 在 Google Cloud TPU 上从头复现 Ai2 的 Olmo 3 7B,完成 stage-1 预训练(约5.93T token。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark drafter 模型,参数约 280M,仅增加 8.9% 参数量。GPU 上解码吞吐最高提升 2.66 倍、边缘设备 3.13 倍,端到端分别最高 2.27 倍和 2.62 倍;模型已上架 Hugging Face,支持 llama.cpp、SGLang 和 MLX-VLM。
Google 将于 10 月 1 日通过 SpaceX Falcon 9 火箭发射一颗搭载 TPU 的卫星,测试芯片能否承受航天物理应力、辐射和极端温度,这是 Project Suncatcher 计划迈向轨道 AI 数据中心的第一步。