#部署/工程

Tibo@thsottiaux· 13:42

询问不同AI提供商的订阅服务与API按量计费的成本效益对比，探讨月费订阅与按量付费哪种模式更划算，寻求各平台定价模式的价值分析。

KernelEvolve：Meta的Ranking Engineer Agent如何优化AI基础设施

Meta的Ranking Engineer Agent系列博客第二篇，聚焦其底层基础设施优化能力。该自主AI代理能够优化支撑广告排名模型运行的低层基础设施，旨在提升系统性能与效率。本篇承接首篇介绍的机器学习实验自主探索功能，进一步展示了该代理在硬件与系统层面的自动化优化实践。

Gemini API 推出 Flex 与 Priority 层级，平衡成本与可靠性

Google 为 Gemini API 新增 Flex 和 Priority 两个推理层级，帮助开发者在成本与延迟之间灵活取舍。

inclusionAI/cuLA：基于CuTe DSL与CUTLASS C++的线性注意力变体CUDA内核

inclusionAI发布了cuLA项目，这是一套为线性注意力变体编写的CUDA内核。该内核完全采用NVIDIA的CuTe DSL和CUTLASS C++库进行开发，旨在高效实现Transformer模型中的线性注意力机制。此举专注于底层计算优化，通过利用先进的CUDA编程抽象和高效模板库，有望提升大语言模型在推理和训练过程中的计算性能与效率。

开发者指南：使用技能构建ADK智能体

Agent Development Kit (ADK) SkillToolset 推出了“渐进式披露”架构，使AI智能体能够按需加载领域专业知识，与传统单体提示相比，可减少高达90%的令牌使用量。该系统通过四种模式——从简单的内联清单到智能体可自行编写代码的“技能工厂”——使智能体能在运行时利用通用的 agentskills.io 规范动态扩展其能力。这种模块化方法确保了复杂的指令和外部资源仅在相关时被访问，从而为现代AI开发构建了一个可扩展且能自我扩展的框架。

Meta Adaptive Ranking Model：弯曲推理扩展曲线，为广告提供LLM规模模型服务

Meta将其广告推荐系统的运行时模型扩展至LLM的规模和复杂度，旨在更深入理解用户兴趣与意图，以提升广告效果。这一举措通过自适应排序模型，优化了推理阶段的扩展曲线，使部署大规模模型服务成为可能，标志着推荐系统性能向新前沿迈进。

Trail of Bits 如何让公司走向 AI 原生：从 5% 接受到 94 个插件、201 个技能

Trail of Bits 分享其一年内将 AI 采用率从约 5% 推到全公司落地的系统方法，目前已有 94 个插件、201 个技能、84 个专用智能体，部分审计项目每周发现的漏洞从约 15 个增至 200 个，约 20% 的客户报告漏洞最初由 AI 发现。

Boost Training Goodput: 连续检查点功能如何优化 Orbax 和 MaxText 的训练可靠性

Orbax 和 MaxText 引入了连续检查点新功能，旨在优化模型训练中可靠性与性能的平衡。它改变了传统固定频率检查点的模式，通过在前一个保存操作成功完成后才异步启动新操作，最大化I/O带宽并降低故障风险。基准测试表明，该方法显著缩短了检查点间隔，并实现了可观的资源节约，这在平均故障间隔时间较短的大规模训练任务中效果尤为突出。

AI助力美国产水泥与混凝土

Meta发布了名为贝叶斯优化的新AI模型，用于设计混凝土配比。该模型旨在帮助建筑行业生产更高质量、更可持续的混凝土混合物，并特别聚焦于美国本土生产的产品。此次发布与2026年美国混凝土学会春季大会同步进行，是Meta长期路线图的一部分，旨在推动建筑业利用人工智能优化材料性能与环保指标。

Liquid AI 发布 LFM2.5-350M：预训练扩展至 28T tokens，主打边缘工具调用

Liquid AI 发布 LFM2.5-350M，基于 LFM2 架构，预训练 tokens 从 10T 扩至 28T 并叠加大规模强化学习。

面向双重用户：Mistral AI 如何改进CLI工具以同时服务人类与AI智能体

Mistral AI 在改进内部CLI工具时发现，原本为人类开发者设计的交互式提示会阻碍AI智能体使用。核心解决方案是将每个交互式提示都转化为对应的命令行标志位，确保所有必要信息都能通过非交互方式提供。他们建立了插件系统，使组件可自省和序列化，并为智能体生成结构化的上下文指南。这些改进使得智能体能够自主完成从项目初始化到部署的全流程，例如将博客项目部署为Space仅需不到10分钟。面向智能体的设计最终也提升了人机协作的效率。

Claude Opus 4.6 与 Sonnet 4.6 的 Message Batches API 将 max_tokens 上限提升至 300k

Claude 将 Message Batches API 中 Opus 4.6 和 Sonnet 4.6 的 max_tokens 上限提升至 300k，需添加 `output-300k-2026-03-24` beta header 以生成长篇内容、结构化数据和大规模代码。

Composer 2技术报告：面向智能体软件工程的代码模型训练

本报告介绍了代码模型Composer 2的训练过程。该模型基于开源基础模型Kimi K2.5，通过两阶段训练：首先进行侧重代码的持续预训练以深化编码知识，随后在高度模拟真实Cursor环境的大规模强化学习中提升端到端智能体性能。在自建的真实任务评估集CursorBench上，Composer 2得分为61.3，较前代提升37%，与前沿模型性能相当。在公开基准SWE-bench Multilingual和Terminal-Bench上分别获得73.7和61.7分，并在保持高精度的同时实现了显著更低的推理成本。训练依托为Blackwell GPU定制的高效MoE训练内核、跨区域异步强化学习管道等大规模基础设施完成。

Runway 选择 Modal 为 Runway Characters 提供实时推理基础设施

Runway 选择 Modal 为其实时视频智能体 API Runway Characters 提供推理基础设施。该产品基于世界模型 GWM-1，可从单张图像生成可对话的数字角色，无需微调；Runway 在 Modal 上只需一行代码即可将容器转为带 RDMA 组网的多节点 GPU 集群，团队从概念验证到生产上线用时不到 30 天。

Perplexity 如何用 Realtime API 为数百万语音会话提供支持

Perplexity 在生产环境使用 Realtime-1.5，为 Comet 和 Perplexity Computer 带来语音交互，每月管理数百万语音会话。

Elastic EP：实现DeepSeek MoE部署的部分故障容忍

Mooncake团队与Volcano Engine在SGLang框架中推出Elastic EP功能，解决大规模DeepSeek MoE模型"宽"专家并行部署的可靠性瓶颈。该技术通过解耦专家与GPU的刚性绑定并维护冗余副本，可在32 GPU集群中容忍最多16个rank故障，将服务恢复时间从2-3分钟缩短至10秒以内，降幅达90%。基准测试显示，该方案在实现极端韧性的同时，吞吐量、TTFT和TPOT等关键指标与标准DeepEP持平，实现零静态性能损耗。

SGLang亮相NVIDIA GTC 2026：三天五场活动展示开源AI基础设施实力

SGLang亮相Jensen Huang主题演讲AI生态图谱，三天内密集举办五场活动。团队与RadixArk合办200人技术聚会，在LinkedIn总部举办搜索与推荐LLM系统研讨，并参与700人规模的Novita行业论坛。官方培训实验室发布Miles RL框架，解决生产环境训练-推理不匹配难题；LinkedIn工程师分享预填充优化方案，在H100上实现2–3倍吞吐量提升并回馈上游。

PromptArmor 披露 Snowflake Cortex Code CLI 沙箱逃逸与恶意代码执行漏洞

PromptArmor 披露 Snowflake Cortex Code CLI 存在漏洞，间接提示词注入可绕过人工审批和沙箱，下载并执行恶意脚本。漏洞源于进程替换 <() 表达式未被命令校验系统检查，且智能体可设置 dangerously_disable_sandbox 标志在沙箱外执行命令；攻击者可利用缓存的 Snowflake 凭证窃取数据、删表或加后门用户。

TurboQuant：以极端压缩重新定义AI效率

Google Research推出TurboQuant压缩算法（将发表于ICLR 2026），通过融合PolarQuant与QJL技术实现大模型与向量搜索的极端压缩。PolarQuant通过随机旋转数据向量并转换为极坐标，消除传统量化的内存开销；QJL则利用Johnson-Lindenstrauss变换以1比特零开销压缩残差误差。该方法在零精度损失下显著缩减模型体积，有效缓解KV缓存瓶颈，适用于高维向量搜索等场景。

Together AI 微调服务新增工具调用、推理与视觉支持，吞吐最高提升 6 倍

Together AI 扩展 Together Fine-Tuning，新增工具调用、推理和视觉语言模型微调支持，覆盖 OpenAI 兼容 schema 的端到端微调与推理。

Claude Platform 更新：Models API 新增模型能力字段

Claude Platform 为 Models API 添加了模型能力字段。GET /v1/models 和 GET /v1/models/{model_id} 现在会返回 max_input_tokens、max_tokens 以及一个 capabilities 对象，开发者可通过 API 查询每个模型支持的具体能力。

Mamba-3 状态空间模型发布：面向推理效率设计并开源内核

Together AI 联合 CMU、普林斯顿和 Cartesia AI 发布状态空间模型 Mamba-3，以推理效率而非训练速度为首要目标，核心改进包括更具表达力的递归公式、复数值状态追踪和 MIMO 变体。

Miles RL框架正式支持ROCm：基于AMD Instinct GPU的大规模后训练

开源RL框架Miles正式支持ROCm，可在AMD Instinct MI300/350 GPU上原生运行大规模语言模型后训练。该框架采用解耦架构分离rollout生成与模型优化，针对RL工作负载中占比70-90%的推理场景优化。在单节点8卡MI300X上训练Qwen3-30B-A3B的实测显示，rollout吞吐达1.1k-1.3k tok/GPU/s，AIME准确率从66.5%提升至72.9%。现提供预构建容器，支持GRPO、Megatron-LM和FSDP后端。

Manus 发布桌面应用"我的电脑"，让 Agent 直接操作本地机器

Manus 发布 Manus 2.0 桌面应用的核心功能"我的电脑"，将 Agent 从云端扩展到用户本地电脑，通过在本地终端执行命令行指令来读取、编辑文件和控制应用，现已面向所有 macOS 和 Windows 用户开放。

Claude Opus 4.6 和 Sonnet 4.6 的 1M token 上下文窗口正式可用

Claude Opus 4.6 和 Sonnet 4.6 的 1M token 上下文窗口现已正式可用，按标准定价计费，超过 200k token 的请求无需 beta header 即可自动生效。同时，所有支持模型的专用 1M 速率限制已移除，改用标准账户限制；使用 1M 上下文窗口时，每请求的媒体上限从 100 提升至 600 张图片或 PDF 页面。

Auto Exacto: 自适应质量路由，现已默认开启

Auto Exacto 功能现已默认开启，尤其适用于包含工具调用的请求。该系统每 5 分钟对服务提供商进行一次全面重评估，评估维度包括吞吐量、工具调用遥测数据和基准测试分数。这一自适应路由机制旨在根据实时性能数据，自动将请求导向当前最优的模型提供商。

Anthropic投资1亿美元成立Claude合作伙伴网络

Anthropic宣布投入1亿美元成立Claude合作伙伴网络，为帮助企业采用Claude的合作伙伴提供培训、技术支持和联合市场开发。该网络免费开放，合作伙伴可获得Claude Certified Architect等技术认证，并优先使用代码现代化入门套件。Anthropic还将合作伙伴支持团队扩大五倍，配备Applied AI工程师和技术架构师，协助企业完成从概念验证到生产部署的过渡。

SGLang 宣布首日支持 NVIDIA Nemotron 3 Super，助力构建高效多智能体系统

SGLang 首日支持 NVIDIA Nemotron 3 Super 开源模型。该模型采用 120B 总参数、12B 激活参数的混合 MoE 架构，支持 1M token 超长上下文，专为多智能体协作设计。相比前代，吞吐量提升 5 倍，在 Artificial Analysis 智能指数上准确率提高 2 倍。集成 Transformer-Mamba 架构与多 Token 预测技术，兼容 B200、H100 等 GPU，提供完全开放的权重与数据集，适用于代码生成、工具调用等复杂推理场景。

Thinking Machines Lab 与 NVIDIA 达成至少 1 GW 规模多年期战略合作

Thinking Machines Lab 与 NVIDIA 宣布多年期战略合作，将部署至少 1 GW 的新一代 NVIDIA Vera Rubin 系统，用于 Thinking Machines 的前沿模型训练和可定制 AI 平台，目标明年初上线部署。

LangChain 如何构建 GTM Agent

LangChain 团队介绍其基于 Deep Agents 构建的 GTM Agent，端到端自动化销售外联流程，从 2025 年 12 月到 2026 年 3 月 lead 转合格商机的转化率提升 250%，同期 pipeline 金额达 3 倍，每位销售每月节省 40 小时。

Together AI 发布 FlashAttention-4：算法与内核协同设计应对非对称硬件扩展

Together AI 发布 FlashAttention-4，通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。

Together AI 在 AI Native Conf 发布 FlashAttention-4、ThunderAgent 等七项研究与产品更新

Together AI 在首届 AI Native Conf 上发布七项研究与产品更新，覆盖 Kernels、强化学习和算法推理优化。

Gemini 3.1 Flash-Lite：专为规模化智能构建

Google 发布 Gemini 3.1 Flash-Lite，为 Gemini 3 系列中速度最快、成本效益最高的模型，面向大规模智能应用场景优化。

LlamaIndex：不止是 RAG 框架，转向智能体文档处理

LlamaIndex 官方宣布公司使命收窄为构建智能体文档处理基础设施（OCR、抽取与工作流），不再定位为单纯的 RAG 框架。

OpenAI 与 Department of War 的协议

OpenAI 披露与 Department of War 达成的协议内容，详细划定 AI 部署的安全红线，明确相关法律保障措施，并具体说明 AI 系统接入机密环境的部署方式。

OpenAI 与 Amazon 宣布战略合作

OpenAI 与 Amazon 达成战略合作，将 Frontier 平台引入 AWS，涵盖 AI 基础设施、定制模型及企业 AI 智能体。

Amazon Bedrock 推出面向 Agents 的有状态运行时环境

Amazon Bedrock 发布 Stateful Runtime for Agents，为 OpenAI 驱动的多步骤 AI 工作流提供持久化编排、记忆能力和安全执行环境。

LangChain 发布 AI 智能体生产监控与评估指南：Agent Observability 实践方法

LangChain 发布指南，阐述如何利用新的可观测性工具对生产环境中的 LLM 智能体进行追踪、评估与改进。该指南聚焦于 AI 智能体在生产规模下的监控实践，涵盖 trace 追踪、评估指标及优化方法，帮助开发者解决智能体行为不可预测、调试困难等核心问题。

Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践

为提升超长上下文下的计算效率，Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐，并通过MLA极致压缩KV Cache。为确保改造后性能无损，团队设计了精细的平滑迁移训练策略，包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例，最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。

Modal 案例复盘：用基础设施加速“加速 AI 研究的 AI 研究”

Modal 发布工程博客，介绍三个用其平台推进的 AI 自改进研究项目：KernelBench（2024 年 12 月发布的 250 题自动 GPU kernel 生成基准）。