针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题，研究团队推出 Petit 内核集合，通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍，矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术，已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。
八月初至九月中旬，Anthropic的三次基础设施漏洞间歇性导致Claude响应质量下降。8月5日，上下文窗口路由错误致使部分Sonnet 4请求被误导向百万token服务器，8月31日高峰时影响16%请求。8月25日，TPU服务器错误配置引发输出损坏，可能在英文回复中生成泰文或中文字符，影响Opus和Sonnet模型。同日部署的代码还触发了编译器漏洞，主要影响Haiku 3.5。所有问题均非需求或负载所致，纯属基础设施漏洞。公司通过回滚部署和修复逻辑于9月18日前全部解决。
推荐理由：Anthropic 主动公开三个基础设施 bug 的完整复盘，这种坦诚在大厂里极少见。做 AI 产品的人都该读一下，它把「模型质量下降」从玄学拉回了工程现实，尤其是 XLA 编译器那层的坑，踩过才知道多深。
Modal 工程师 Eric Zhang 撰文解析 Modal Notebooks 的系统工程实现，该云 Jupyter notebook 可在数秒内启动 GPU 和自定义镜像并支持实时协作。
Together AI 发布 Batch Inference API 重大更新，速率上限从每用户每模型 10M 提升至 30B enqueued tokens，为 3000 倍，多数 serverless 模型价格为实时 API 的 50%。
Thinking Machines Lab 发布博客，指出 LLM 推理不确定性的真正原因不是并发加浮点数，而是内核缺乏 batch invariance，服务器负载导致的 batch size 变化会改变单个请求的输出。
推荐理由：作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题，并给出可复现内核方案。
Claude Platform 推出 Web Fetch 工具（Beta），允许 Claude 从指定网页和 PDF 文档获取完整内容。同时发布 Claude Code Analytics API，让组织能以编程方式获取 Claude Code 的每日聚合使用指标，包括生产力指标、工具使用统计和成本数据。
SGLang 发布 HiCache 分层 KV 缓存系统，通过 HiRadixTree 页表管理 GPU、CPU 及外部存储中的缓存数据，支持 Mooncake、3FS、NIXL 等多种后端。系统采用 GPU 辅助 I/O 内核和层间重叠机制加速数据传输，在 Qwen3-Coder-480B 编码场景中将 TTFT 降低 56%、吞吐量翻倍、缓存命中率提升至 80%；在 DeepSeek-R1-671B 部署中实现缓存命中时 TTFT 降低 84%，整体吞吐量最高提升 6 倍。
Modal 宣布 Notebooks 正式向所有客户开放，这是一个面向高性能交互计算的协作式云 notebook，内核冷启动不到 5 秒，硬件可从 0.125 CPU 扩展到 8 块 H100/B200 GPU。
FireRedTeam 发布 FireRedChat，一个完全自托管的实时语音 AI 智能体全双工交互解决方案。系统集成了 TTS、ASR、pVAD（个性化语音活动检测）和 EoT（结束轮次检测），不依赖外部 API、无数据泄露、部署完全可控。
推荐理由：官方发布了可完全自托管的实时语音智能体方案，组件构成和部署路径都写清楚了，适合评估私有化语音交互搭建。
Together AI 宣布 Together Instant Clusters 正式商用，提供自助、API 优先的 GPU 集群开通，从单节点 8 卡扩展到数百卡多节点，支持 NVIDIA Hopper 和 Blackwell GPU，可在分钟级完成配置并选择 K8s 或 Slurm 编排。
InternLM 开源 ClusterX，为不同云服务厂商的集群调度提供统一的 CLI 和 Python API，屏蔽集群差异，支持统一的任务启动、查看、停止、日志和列表接口，可在支持的集群上无缝迁移任务。
Claude Platform 在 Console 使用量页面新增速率限制图表，支持用户监控 API 速率限制使用量和缓存速率随时间的变化。
Linear 上月推出 Triage Intelligence，利用搜索、排序和 LLM 推理自动为新增工单标记重复项、关联问题并推荐标签与负责人。早期版本使用 GPT-4o mini 和 Gemini 2.0 Flash 等小模型，后转向 GPT-5 和 Gemini 2.5 Pro 等更大模型实现智能体式决策。
推荐理由：Linear 的 Triage Intelligence 用 agentic 方案把 issue 自动分类和去重做得很实用，透明可解释的交互设计让 AI 建议不再像个黑箱，做工具类产品的值得看一看。
Claude Platform 推出 Code Execution Tool v2 公测版，取代原先仅支持 Python 的工具，新增 Bash 命令执行和直接文件操作能力，包括用其他语言编写代码。
推荐理由：Anthropic把代码执行工具从Python解放到了Bash和任意语言，这不再是玩具，而是能在沙箱里跑真实脚本的实用功能，做自动化的开发者可以直接拿来用了。
美团开源Agentic MoE模型LongCat-Flash，总参数量560B，每token仅激活27B。该模型基于SGLang框架，采用PD分离架构与SBO技术，通过四阶段流水线在单batch内实现计算与通信重叠，突破吞吐与延迟的权衡瓶颈。相比同类模型推理成本降低50%以上，在Agent任务中表现优异，适用于复杂实时智能体应用。
OpenAI 开源模型 gpt-oss 原生采用 MXFP4 量化，但社区长期缺乏针对该低精度格式的训练支持。NVIDIA 推出基于 Model Optimizer 的量化感知训练（QAT）方案，允许在 Blackwell、Hopper、Ampere 及 Ada 等常见 GPU 上直接微调模型，无需转换为 BF16 而牺牲性能。实测显示，经 QAT 微调的 gpt-oss-20b 在多语言推理任务中通过率从 16% 提升至 100%，在安全提示识别任务中从 30% 优化至 97%。微调后的模型可通过 SGLang 部署，保持 MXFP4 格式的推理速度与内存优势。
Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API，构建基于 Claude 的应用程序。
推荐理由：Anthropic 给 PHP 开发者递了橄榄枝，beta 版 SDK 让 PHP 项目接入 Claude 更容易了，虽然量级不大但补上了生态缺口。
SGLang 针对 openai/gpt-oss-120b 发布重大性能优化，prefill 吞吐量提升 2.1 倍，decode 吞吐量提升 2.25 倍。新版本集成 FlashInfer 内核以释放 NVIDIA Blackwell 性能，通过 FlashAttention-3 加速 Hopper GPU，并原生支持 AMD MI350。在 B200 上 MXFP4 精度下单批次解码速度达 416.02 tok/s。同时引入 EAGLE3 投机解码支持，GPQA 基准测试验证精度与官方报告一致，确保高性能不损失推理能力。
Claude API 提升了 Claude Sonnet 4 的 1M token 上下文窗口速率限制。该 1M token 上下文窗口现已可在 Vertex AI 上使用。
Gemini 2.5 Flash Image Preview 模型已在 OpenRouter 平台正式发布。该模型是首个在该平台上线的图像生成模型，具备当前最优的图像生成能力。其核心特性包括出色的角色一致性和支持多图像输出功能，为开发者与用户提供了新的图像生成工具选项。
Cato AI Labs 的 Aim Labs 团队在 Black Hat USA 2025 演讲中提出，Hugging Face 等现有静态模型扫描器依赖 denylist。
OpenAI Developers 博客发布了一篇关于速率限制（Rate Limits）的指南，旨在帮助开发者理解和管理 API 调用中的速率限制机制。该资料仅提供了文档链接和简短说明，未包含具体的限制数值、调整策略或技术细节。
OpenAI 开发者文档发布了关于如何创建和运行评估（Evals）的快速入门指南，旨在帮助开发者开始使用其评估工具。
Anthropic 宣布 Claude Sonnet 3.5 模型（`claude-3-5-sonnet-20240620` 和 `claude-3-5-sonnet-20241022`）将于 2025 年 10 月 28 日退役，建议用户迁移至 Claude Sonnet 4.5 以获得更优性能。同时，提示词缓存的 1 小时缓存时长现已正式可用，无需再使用 beta 标头。
平台宣布为所有模型的应用新增音频输入与通过URL发送PDF文件的功能。用户现在可以直接使用语音与各类模型（如GPT、Claude、LLaMA）进行交互，同时支持通过链接直接上传PDF文档进行处理。这两项更新旨在提升多模态交互的便捷性，扩展了应用处理非文本输入和数据获取的方式，无需再依赖传统的文件上传步骤。
Modal 发布 GPU 内存快照功能（alpha），基于 CUDA checkpoint/restore API（570 和 575 分支驱动）将 GPU 状态一并纳入快照，Function 冷启动最多提速 10x。
OpenRouter 新增服务器端预设（Presets）功能，用户可一次定制模型配置并在不同应用间无缝使用，简化模型工作流。
OpenRouter 上线服务端 Presets，支持用户一次定制模型配置（如参数、提示词）后跨应用直接调用，无需重复设置，简化跨平台模型工作流。
新推出的服务端 Presets 功能实现了模型配置的“一次定制，处处使用”。该功能允许用户将包括模型、参数、提示词和工具在内的完整配置保存为可复用的预设方案，并能通过链接或代码片段跨应用无缝共享。这简化了从开发到生产的工作流，避免了重复配置，提升了团队协作与部署效率。
TensorZero 发布实验报告，用 GPT-4.1 的成功对话微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini。
Claude Platform 发布了更新版文本编辑器工具 text_editor_20250728，修复了此前版本的部分问题。新版本新增了可选的 max_characters 参数，允许用户在查看大文件时控制截断长度。
SGLang团队开源SpecForge训练框架，专为Eagle3投机解码设计，原生集成SGLang推理引擎实现训推无缝衔接。框架内置Training-Time Test支持，提供Online与Offline双模式，分别适配低存储多GPU与高存储低GPU场景。基于ShareGPT和UltraChat 32万样本的实验显示，Llama 4 Maverick与Scout draft模型在MT-Bench上分别实现2.18倍与2.0倍推理加速。
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型，对约一周（7×24 小时）ESB 基准音频做批量转写，结果比所测专有 API 快 112 倍或便宜 200 倍，且错误率略低，实现了一分钟内以 1 美元转写一周音频。
推荐理由：原文给出可复现的批量转录优化方法与端到端实测数据，读者可以据此在自己的语音转写服务中权衡成本与吞吐。
OpenAI 开发者文档发布了一篇关于 Conversation State（对话状态）的指南，解释了如何在 Responses API 中持久化上下文以支持多轮对话，涉及工具调用和函数调用等场景。
OpenAI 开发者文档发布了一篇关于 Flex Processing（弹性处理）的指南，主要介绍如何通过该功能降低 API 调用成本。资料仅提供了标题和链接，未包含具体的实施步骤、适用场景或节省比例等详细信息。
OpenAI 开发者平台更新了关于文件搜索（File Search）的指南，描述了如何对文件进行索引和查询以生成基于事实的回答。该资料仅包含简短的功能描述和链接，未提供具体的技术细节、代码示例或新的功能特性说明。
OpenAI 开发者文档更新了 Batch API 的使用指南，主要介绍如何通过该接口批量处理请求以降低调用成本。
OpenAI 开发者文档发布了一篇关于 Responses API 中“后台模式”（Background mode）的指南，主要介绍如何异步处理长时间运行的操作，涉及工具调用和函数调用等场景。
该资料为 OpenAI 开发者文档页面，主要介绍如何配置和运行评估（Evaluations），涉及 Evals API 的具体使用方法。
OpenAI Developers 博客发布了关于评估（Evals）的最佳实践指南，内容涵盖如何规划、运行以及迭代评估流程。该资料仅提供了标题和简短描述，指向官方文档链接，未包含具体技术细节或案例。