vLLM 用双向 KV 传输优化多轮智能体负载的 TTFT
vLLM 通过双向 KV 传输让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 的 1P1D 部署上,该特性将 Qwen3-32B 的 TTFT 降低最多 1.6 倍,zai-org/GLM-5-FP8 降低最多 3.3 倍。
vLLM 通过双向 KV 传输让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 的 1P1D 部署上,该特性将 Qwen3-32B 的 TTFT 降低最多 1.6 倍,zai-org/GLM-5-FP8 降低最多 3.3 倍。
GitHub Blog 发布 Copilot for Beginners 系列教程,讲解四种让 Copilot 理解项目的方式:通过 .github/copilot-instructions.md 及路径级指令文件定义规范。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开源模型做分布式微调,用 26 个 AI 评委(12 个医疗安全、6 个微观行为、8 个实用性)和超 15,000 条隐私优先合成问题构建训练信号,并采用监督微调加 DPO 的强化微调流程。
IBM Research 发文解析分布式推理如何为大规模 LLM 服务调度流量,其开源 Kubernetes 原生框架 llm-d 涵盖前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行六项技术。
Anthropic 发文详解其自研版本控制系统 Scion:因 Claude 使日均合并代码从 2026 年 5 月约 2,500 次增至 9 月超 30,000 次,git 难以承载,团队七人在五个月内构建 Scion 和代码评审工具 Antique 并完成迁移。
推荐理由:Anthropic 复盘自研版本控制 Scion 的设计原则与迁移经验,为面临类似 agent 规模代码压力的团队提供了可借鉴思路。
Tessl 博客文章介绍用四个可拥有的文件杠杆约束编码智能体:CLAUDE.md 指令、.claude/rules/ 路径级规则、.claude/ 下的能力配置和 .claude/hooks/ 钩子。
推荐理由:作者用同一工单三次实测对比 charter 各文件杠杆的效果,方法可迁移到自己的仓库,并指出机器可查与需人审的边界。
浏览器指纹识别通过收集 user agent、语言、屏幕尺寸、字体、canvas 与 WebGL 渲染、音频处理等信号,组合后经哈希函数生成紧凑标识,用于在 cookie 被删除后仍能识别回访浏览器。它分为被动式(HTTP 头、IP、TLS 握手)与主动式(JavaScript 采集)两类,常用于追踪用户、防欺诈和检测机器人,但相似浏览器可能撞车、浏览器更新也会改变结果。
RadixArk 的 SGLang & Miles 团队获得两台 NVIDIA Vera Rubin 节点(8 GPU)的早期访问,将 SGLang 用于推理、Miles 用于 RL 训练并首次跑通。
Figma 博客介绍 4 个推动团队级 AI 采用的做法:Figma 的 AI Collective 五个同伴学习小组,每周 1 小时共 6 周;Sephora 技术高级副总裁 Sneha Narahalli 主持双周论坛。
Claude Code 推出 Projects 功能,目前处于 Beta 阶段并逐步向 Pro 和 Max 计划开放。官方视频介绍项目是一个持续对话,由 Claude 协调工作并将每个任务作为独立线程并行运行,内容涵盖设置项目、引导线程、审查 pull request、创建 artifacts、连接外部服务和安排例行任务,用户可加入 waitlist 获取更早的访问权限。
LangChain 在 Managed Deep Agents v0.9 中新增 reactions API,可为 Slack 等渠道的分布式智能体动态分配 emoji 回应,支持字符串或返回 emoji 的可调用对象。该功能可接入 Jev 等决策模型,Jev 最多支持 255 个选项,并可用置信度阈值(低于 0.25 时回退到 👀)控制回应。
Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。
Baseten 工程博客解析如何实现高质量 NVFP4 4-bit 量化,介绍了启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 每 16 个值共享一个 block scale,权重可直接计算 scale,激活值则需通过校准数据集统计分布。
Tessl 发布博客拆解智能体代码审查的完整结构,包括标准、视角、发现、裁决、逐条回应与记忆六个环节。其 Tessl Code Review 内置正确性与数据完整性、安全与隐私、规模与韧性、可维护性与代码质量四个视角,以 skill 形式打包并并行运行,标准以 context 形式存放在仓库中。该工具可免费安装到代码仓库,在下一个 pull request 上运行首个循环。
Snyk 将内部支持 Agent 演进为面向所有付费客户的 Snyk Assist,该 Agent 基于 LangChain 和 LangGraph 构建,并在 LangSmith 中管理可观测性。
Databricks 为 Lakebase Postgres 引入 LTAP 架构,将批量数据加载从主计算节点卸载到 Spark 分布式引擎,内部基准测试显示加载 1 TB 数据现在只需不到 5 分钟。
Databricks 博客介绍如何用 Lakebase Postgres 的数据库分支能力支持 Agentic SDLC。Lakebase 可在不到一秒内分支任意大小的数据库,采用 copy-on-write 共享父分支数据、支持 scale-to-zero。
Hugging Face 工程师 yuvraj sharma 用 HuggingChat 的 ML Intern 模式在几天内做出 7 个模型,包括可在 CPU 运行、99.7% 有效输出的 0.8B 提示词重写器,以及将柑橘病害识别准确率从 14.9% 提升到 52.8% 的 Qwen3.5-2B 微调模型等,全部计算成本约 103 美元。
推荐理由:作者总结了预算控制、基线评测和冒烟测试等提示词写法,让 agent 自主完成数据构建、训练与发布,方法可直接迁移复用。
ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。
推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。
NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛获得第二名,并发布构建可靠数据分析智能体的方法复盘。
推荐理由:NVIDIA KGMON 团队复盘 KDD Cup 2026 数据智能体赛题的九项实践,给出在固定小模型上构建可验证 agent harness 的可迁移方法。
NVIDIA Dynamo 引入统一的会话级标识符 session_id,把请求级推理服务升级为程序感知系统,覆盖会话感知路由、共享 KV 索引与程序化缓存迁移,兼容 vLLM 和 SGLang。
LlamaParse 以 Markdown 作为文档解析的默认输出格式,以保留标题层级、阅读顺序和表格结构,并在复杂表格中支持 HTML 表格(colspan、rowspan)与管道表格并存。
LangChain 发布示例项目 Restock,一个在 Slack 上通过 Managed Deep Agents 运行的办公用品购买智能体,演示智能体如何安全完成支付。
推荐理由:原文给出了完整的智能体支付架构与凭证隔离做法,读者可以复用到任何需要花钱的智能体场景。
Anthropic 发布基于 Claude Managed Agents(beta)的每日简报参考实现,按计划读取 Slack 和 GitHub 来源并向 Slack 发布简报。
推荐理由:文章把定时智能体自动化拆成可复用的六个组件,并给出书签、台账和权限等可直接迁移的防错规则。
作者基于为跨公司工作的 Agent 构建记忆系统一年的经验指出,AI 失败的常见原因不是模型推理差,而是它看不到关键决策上下文,多数 agent memory 只是给瞎子更大的档案柜。
推荐理由:作者以自建系统的一手实测数据说明为何该把记忆当受治理的记录而非存储,三个设计决策和成本数字可直接迁移。
Tessl 工程博客阐述如何用充足上下文让 Agent 承担需要判断力的软件工程工作,并以 API 迁移为例说明 Agent 如何依据兼容性政策在多种方案间自主选择。
Mastra 团队提出细粒度上下文(FGC)概念,用于解决多用户共享会话中 Agent 上下文的权限控制问题,让同一 Agent 按用户权限和会话受众调整可用信息。文中举例说明私有日程详情可能通过工具结果或存储记忆泄露到群聊,并给出在 Mastra 中实现 FGC 的做法:按请求者和受众划定上下文范围、分离私有与共享内存、受众或权限变化时重新检查上下文、以及跨用户和会话场景的测试方法。
OpenRouter 介绍其基于 Ori 构建的 AI 销售智能体 Rasp,负责入站线索分诊、首触邮件、会前简报、会后笔记和 CRM 更新,为 5 人销售团队每月拿回约 600 小时,交易周期缩短 34%。
Databricks 在 Data & AI Platform 上推出主动式成本管理方案,通过成本归因、预算、告警、仪表盘和优化五大支柱,让团队在花钱前就设好护栏。
Databricks 发布指南,介绍如何通过更换 dbt-databricks 适配器和连接配置,将现有 dbt 转换项目重新指向 Databricks Lakehouse,无需重写 DAG 或业务逻辑。
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。
PromptArmor 发布对 WebMCP 的安全解读。截至 2026 年 10 月 6 日,webmcp.com 注册表收录 2,959 个使用 WebMCP 工具的站点,Chrome、Edge、Brave 及 ChatGPT、Cloudflare、Shopify 已提供支持。
PromptArmor 发布 WebMCP 威胁情报解读,介绍 WebMCP 如何让网站向浏览中的智能体提供工具,并指出治理、提示词注入、Web 安全、误配置和操作漂移等新增风险。
推荐理由:作者从一线威胁情报视角拆解 WebMCP 的机制与治理、提示词注入等新风险,读者可据此评估自身供应商面。
PyTorch 博客详解了用于推荐系统 Table Batched Embedding(TBE)前向与反向的 FBTriton 内核设计,其 Triton 实现在这些负载上超过了原有 CUDA 内核。
LlamaIndex 发布 2026 年 6 款最佳 OCR 文档管理软件对比,涵盖 LlamaParse、ABBYY FineReader、Amazon Textract、Google Cloud Vision、Microsoft Azure OCR 和 Hyperscience。
Auto-review 就是“Approve for me”权限模式。要使用它,打开输入框下方的权限菜单,选择“Approve for me”。
Google 发布基于 Gemma 4 的开源嵌入模型 EmbeddingGemma 2,采用 Apache 2.0 许可,将文本、代码、图像、视频和音频映射到统一的 768 维向量空间,参数量从 270M(文本/代码)到 740M(全模态)按需加载。
Claude Code 推出云端会话:每个任务在独立 VM 上运行,仓库克隆到新分支,可从 claude.ai/code、手机、Desktop、终端和 Slack 启动并跟踪,完成后产出可转 PR 的分支,Pro、Max、Team、Enterprise 计划不额外收费。
推荐理由:作者用四个真实云会话实测并行修复、文档校对和结构化日志,给出本地与云会话的选择边界和七个适用工作流。
IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作,将核心语义层作业的每日运行时间缩短超过 60%,并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中,运行在 Databricks 上,通过 Liquid clustering、merge 增量策略和行哈希校验等配置,让每次运行只触碰实际变更的数据。
Claude Code 现已支持 mods,即用户编写的函数,可改变 Claude Code 的渲染内容、进入提示词的内容以及工具调用。Anthropic 的 Lydia 展示了三个示例:实时上下文分解、agent 侧边栏和悬停显示邮箱地址,并从零构建了邮箱示例。详情见 https://claude.dev/blog/getting-started-with-claude-code-mods/
同一件事,精选收录的是《Claude Code 推出 mods,可用 TypeScript 函数改写提示词、替换内置功能》