跳到正文
9月24日周四
  1. LangChain:Blog56

    LangChain 发布 Managed Deep Agents 0.8,新增用户级内存、HTTP 通道与 Parallel 网页搜索

    LangChain 发布 Managed Deep Agents 0.8,新增用户自有凭据、用户级内存、HTTP 通道、Slack 文件传输,并内置由 Parallel 驱动的网页搜索工具。用户级内存按调用者身份隔离存储,凭据支持用户或代理级别作用域,内置 23 个服务的开箱即用连接;beta 期间 Parallel 网页搜索免费提供。

  2. LangChain:Blog53

    LangSmith 推出 Custom Apps,可在 LangSmith 内构建和运行自定义智能体数据界面

    LangChain 发布 LangSmith Custom Apps,用户可基于 LangSmith 数据构建、发布并直接在工作区内运行自定义 UI,省去托管、认证和权限维护。可通过 LangSmith Chat 或模板加编码智能体构建,Plus 套餐含每组织一个应用,Enterprise 套餐不限量;同期开源其设计系统 Macaw。

  3. 公众号:蚂蚁百灵67

    蚂蚁开源 Ming-Image-0.1-Design 系列:两个 6B 模型打通设计生成与图层编辑

    蚂蚁百灵开源 Ming-Image-0.1-Design 系列模型,包含两个 6B 模型:Design 从文字需求生成 UI、信息图、海报等完整设计,Layer 将设计图拆成 2 至 9 个可独立编辑的 RGBA 图层,并同步开源 Design Skill 和 PPT Skill。

    推荐理由:原文给出两个 6B 模型的能力划分、评测成绩和实际接入效果,读者可以据此评估设计生成加图层编辑链路的部署价值。

  4. Boris Cherny57

    Anthropic 团队在两周内让 claude.ai 速度提升 3 倍,Desktop 应用近期也明显变快。Boris Cherny 分享了团队如何用 Claude 来测量、调试和改进性能,博客中附带了提示词和具体方法,供工程师优化自己的应用参考。

    引用ClaudeDevs@ClaudeDevs

    We made claude​.ai 3x faster in two weeks. Here’s how we use Claude to measure, debug and improve performance. Prompts and methods included. https://claude.dev/blog/how-we-made-claude-ai-faster/

  5. Modal 官方工程博客62

    Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

    Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数千亿 token。

    推荐理由:原文以一线实践拆解编码 Agent 推理优化的完整路径,读者可以迁移其瓶颈定位与 KV 缓存路由方法。

  6. Microsoft Research 博客78

    微软研究院:机器人推理卸载至边缘/云端可显著提升性能与续航

    微软研究院发布关于物理AI机器人推理基础设施的研究。通过系统评估移动操作任务,发现将推理从机载GPU卸载至边缘或云端,能解决机载算力限制模型规模、导致响应延迟(最高383%)及精度下降的问题。实验显示,卸载推理不仅提升了任务成功率,还通过替换高功耗机载GPU为轻量硬件(如树莓派),使机器人电池寿命延长高达160%。此外,微软推出了基于Kubernetes的Physical AI Toolchain工具集,支持自动化容器化与分布式推理部署。

9月23日周三
  1. vLLM 官方博客74

    vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0,把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon,由 MLX 和 Metal 执行模型,版本号与上游 vLLM 对齐。

    推荐理由:官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。