美团龙猫LongCat发布《Agent评测白皮书》系列首篇:Agent评测全览
美团龙猫LongCat团队推出《Agent评测白皮书》系列博客,首篇《评测全览》体系化讲解Agent评测落地方法,计划共4篇,后续将覆盖冷启动、扩量和自进化。文章提出评测体系可概括为四个模块(离线评测、在线评测与监控、Case挖掘与归因、观测基建)、三种能力、两条Loop和一套评测资产,以商家经营分析Agent为贯穿案例,并附评测体系成熟度自查表。
美团龙猫LongCat团队推出《Agent评测白皮书》系列博客,首篇《评测全览》体系化讲解Agent评测落地方法,计划共4篇,后续将覆盖冷启动、扩量和自进化。文章提出评测体系可概括为四个模块(离线评测、在线评测与监控、Case挖掘与归因、观测基建)、三种能力、两条Loop和一套评测资产,以商家经营分析Agent为贯穿案例,并附评测体系成熟度自查表。
Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter,配合 Storage Bucket 挂载与代理路由,让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。
推荐理由:Hugging Face 官方用五个实验展示了如何在 Jobs 上分离训练与推理跑异步 GRPO,并通过逐项定位瓶颈把运行提速 3.9 倍,方法可迁移。
We mobilized 250+ people to strengthen our defenses across hundreds of systems. Our latest cyber models helped us find and fix vulnerabilities we might never have discovered otherwise. We’re sharing what we learned, the architecture, and a practical playbook so you can build your own Defense Factory: a continuous loop where AI agents find vulnerabilities, validate them, and verify that fixes work. https://openai.com/the-defense-factory/
Mistral 帮助一家欧洲能源运营商将 40,000 行 Fortran 77 的油藏模拟器迁移到 C++,该代码库无测试套件且文档分散。团队先搭建数值一致性验证工具,用 Vibe CLI 生成调用树并派出百余个 Agent 补齐文档,最终采用由人类把关的 coder、tester、reviewer 结构化工作流逐模块迁移。
推荐理由:来自一线项目复盘,给出了迁移前搭建数值一致性验证、用 Agent 分工工作流等可直接迁移到其他遗留系统改造的经验。
Google AI 作者 Tilde A. Thurium 与 Annie Wang 对谈,讲解 Loop Engineering 即构建智能体系统反复迭代直到达成可度量目标的四种常见失效模式及修复方法。
Google Developers Blog 发布关于 AI 编码 Agent harness 工程的实践文章,主张用行为评估补充 Terminal-Bench、SWE-bench 等端到端基准。
推荐理由:Google 团队分享用行为评估迭代和守护 AI 编码 Agent 的方法,给出可复用的三步测试循环与示例代码。
卡兹克发文讲解GPT-6 Astra的推理强度等级(Reasoning Effort)含义,指出各档位是同一模型的不同思考预算,Ultra则类似拉起多个智能体协作的专项工作组。
推荐理由:作者基于烧完两个200刀会员的第一手使用体感,给出推理等级的通俗解释和分档位省Token的具体用法。
Together AI 发布深度解析文章,介绍开发者从闭源模型转向开源模型所需的 AI 编码栈,提出由 Model、Inference、Gateways、Harness、Tools 组成的 MIGHT 框架。
推荐理由:原文给出开放权重模型编码栈的分层框架,读者可据此按任务选模型、按价格选供应商并保持工作流稳定。
OpenRouter 发布教程,演示通过 API 向 google/gemini-3.1-flash-image(即 Nano Banana 2)发送源图和文本指令完成图像编辑,编辑结果以 base64 形式在响应中返回。教程给出 Python 和 TypeScript 示例、提示词写法、多轮小步编辑方法,以及更换模型只需改一个字段,并介绍了 Nano Banana 系列四个成员的价格与质量差异。
推荐理由:原文给出完整可运行的图像编辑请求代码和提示词写法,读者可以照搬并把模型换成其他供应商做对比。
作者发布一个基于 Transformers.js 的 LLM 注意力可视化工具,可悬停查看生成 token 依赖的历史 token,代码开在 GitHub。可视化将所有层、所有注意力头的注意力权重乘以 value 向量模长后聚合为单一数值控制透明度,并预生成提示词避免下载数百 MB 模型;作者还通过修改 onnx 文件暴露内部值,上传到自己的 Hugging Face 仓库供浏览器生成使用。
LangChain 在最新版 deepagents 中引入子智能体上下文模式,支持 "isolated" 和 "fork" 两种取值,fork 模式让子智能体继承 supervisor 的完整对话而非从空白上下文开始。
推荐理由:文章解释了 isolated 与 fork 两种上下文模式的取舍,并给出 worker、verifier 等场景的选择方法,可迁移到自己的多智能体设计。
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法:提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
推荐理由:官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字,可直接迁移到自己的 Claude API 应用。
Anthropic 团队文章指出,优化 prompt cache 命中率、清除升级到前沿 Claude 模型后的提示词反模式、校准 effort 三个手段可在不牺牲性能的情况下降低成本。
推荐理由:官方团队给出提示词缓存、反模式清理和 effort 校准三条降本路径,并用公开基准实测数字支持,方法可迁移到自己的 Claude 应用。
Gergely Orosz 汇总各公司在 AI 智能体大量生成代码后的代码评审应对方式。GitHub 数据显示三年间 PR 数量增长五倍,2025 年底以来 PR 和提交数几乎翻倍。
IBM Research 联合 Red Hat、Google 的开源项目 llm-d 展示在 544 块 NVIDIA H100 GPU 上部署 753B 参数的开放权重 MoE 模型 GLM-5.2(约 39B 激活),在数百到 3000 个并发编码智能体负载下峰值输出超 6.6M tokens 每分钟,零抢占。
Katie McLaughlin 在 Google AI 的 AI 评测系列最终篇中,介绍如何将 Inspect AI 评测的 CSV 数据接入 Data Studio,通过克隆 Master Dashboard Template 并绑定 Google Sheets 数据源,约 30 秒完成无代码交互式仪表盘搭建。
we built four fortnite concept skins of ai ceos for $1.39 in image calls @elonmusk, @finkd, @JensenHuang and @DarioAmodei, rebuilt as our thehype robot. no game engine, no 3d artist, nothing modeled by hand. the whole build ran in one claude code session on opus 5 (medium). the pipeline that worked: 1. references first – our robot turnarounds from thehype videos plus photos of each person, sorted into folders on disk 2. claude writes the prompt, @OpenRouter runs gpt-5.4-image-2 (@OpenAI) – front and back view on a magenta backdrop, so keying to alpha comes out clean 3. @MeshyAI pro, both views in, texture toggle on – download the textured glb, then apply the rig, pick animations, download the animated fbx with all of them 4. hand the glb and the fbx to claude code with Blender installed – it transfers the rig onto the full-resolution mesh and renders the demo 5. 3.08m polygons in the final render – 14.8x what meshy hands back rigged per character: • gpt-5.4-image-2 – $0.26 to $0.58, ~16k tokens • meshy – 30 to 35 credits • opus 5 (medium) – 79.2m effective tokens on the first, 2.2m on the fourth • time – 1.4h to 1.8h of machine time, mostly rendering that opus curve is the finding: 36x less on the fourth character than the first, same result on screen. you pay for not knowing the pipeline, not for the work. image spend barely moved – $0.58 to $0.29. what you need to repeat it: a claude subscription, openrouter balance, meshy pro, blender. api spend on all four – $12.94. @FortniteGame – worth talking to the four of them and to us about shipping an ai bosses collection? and to everyone else: how do our robot homages to the people running ai land? which one would you play? watch the full build below 👇 follow @thehypedotnews – more reviews, daily ai news, model benchmarks, and a 24/7 radio run by ai
作者数字生命卡兹克发布GPT-6 Astra操控Blender的小白教程,介绍前期安装、官方MCP与Computer Use插件配置,并实测三种玩法。Computer Use花约4小时搭出天坛祈年殿,但耗掉200美刀Pro会员近半额度;MCP更快,可完成摩托车建模与组装动画,但复杂任务会单次运行超时,可拆分步骤或用CLI执行Python脚本解决。
推荐理由:作者实测了Computer Use、官方MCP和CLI三种方式并给出各自的速度、成本与适用边界,方法可直接照做。
vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
推荐理由:vLLM 团队结合 AgentX 实测数据讲解智能体负载的全栈优化方法与失败教训,读者可以借此理解并行策略如何跟随模型架构调整。
ByteByteGo 发表长文,系统讲解 LLM 应用如何处理错误与故障。文章指出 LLM 应用除网络超时、429 限流、401/403 认证失败、上下文窗口超限等技术故障外,还面临幻觉、输出非法 JSON、工具误调用等语义故障,需将错误分为瞬时、永久、语义三类再对症处理。
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。
推荐理由:原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
作者分享只用手机远程操控Agent跑任务的新工作流,核心工具是UU远程,出门不再随身背1.62kg的MacBook。文中介绍终端完整支持TUI,可正常操作Claude Code、Codex等Coding Agent,多终端会话可并行;支持手机与电脑双向跨端接管,任务进度和运行状态可保留。
全网最全的 GPT Astra 提示词和案例,已收录 153 个,每日更新。精选 3D、游戏案例,试了下有些真的能 one shot 直出超炫的效果,3D 创作时代已然来临了! 立刻复制提示词,玩起来! https://www.tripo3d.ai/3d-prompts
Olly(iMessage AI 助手)作者基于经 OpenRouter 路由的开源模型处理约 1800 万条消息(约三分之一经 OpenRouter 开源模型)的实战经验,总结使用 OpenRouter 的十大坑。
作者实测 GPT-6 Astra 的电脑自动化、3D 和剪辑能力。外置键盘快捷键配置 41 秒一次成功,Blender 海盗船不到 10 分钟完成且给出逐部位生成逻辑,还用关键帧做出 3D 镜头移动视频和星球状的马里奥 3D 游戏关卡。真人口播剪辑经三次修改达到可发布标准,附完整剪辑提示词;PPT 二次美化评定为 6 到 7 分;UI 设计对比仍不及 Claude Fable 5.1。
Simon Willison 分享在 Mac 上用 ChatGPT Codex 搭配 Blender 的玩法:从 blender.org 安装完整 Mac 应用后,用提示词让 agent 调用 /Applications/Blender 渲染一只骑自行车的鹈鹕场景。他随后用两条追加提示词添加背景和装饰,最终图片由 Blender 的 Python API 生成。
OpenAI 在模型文档中说明 GPT-6 Astra 相比 GPT-5.6 Sol 更常提出澄清问题、对上下文更敏感,并给出让模型更主动、审计 AGENTS.md 等技能文件、控制写作风格、约束子智能体委派和测试规模的提示词建议。
推荐理由:原文汇总了 OpenAI 官方文档中针对 GPT-6 Astra 的提示词建议和 slop 词屏蔽清单,开发者可直接迁移到自己的提示词写法。
9 cool GPT 6 Astra prompts worth trying: 1. The bill renegotiator. "Go through my internet, phone, and software bills, jump into each provider's chat support, and negotiate them down or cancel what I'm not using." 2. Turn an agency into software. “Pick one service business in [niche] and reverse-engineer the exact workflow they sell to clients. Break it into steps, tools used, inputs, outputs, human judgment points, and places where the work gets slow or expensive. Then design the simplest AI product that could replace the first version of that service and charge $500-$5,000/month.” 3. Garage sale flipper. "Watch Facebook Marketplace and Craigslist in my city for [cameras / furniture / bikes] listed way under market, and text me the second one's mispriced with the link." 4. Create my 1 person company dashboard. “Look at my docs, notes, Stripe exports, analytics, customer calls, and project list, then build a weekly operator dashboard. I want to know what is making money, what is wasting time, what customers are asking for, what I should stop doing, and the three highest-leverage actions for next week. Be blunt and show your work.” 5. Audit my company for agent opportunities. “Look at how this business works and find the tasks we should give to agents before hiring another person. For each task, estimate the current human time, the cost of mistakes, the tools involved, the difficulty of automating it, and the first safe version we could deploy. Prioritize things that save money or create revenue within 30 days.” 6. Be my browser operator. “Use the browser to complete this workflow: [workflow]. As you go, click through the actual sites, collect the data, fill the forms where appropriate, and keep notes on what broke or slowed you down. When you’re done, give me the output, the repeatable SOP, and the automation plan so this can become an agent.” 7. The whole QA team. "Every night, open my app on a real phone, go through signup, checkout, and the main flows, and screenshot anything that's broken or confusing." 8. The competitor spy. "Sign up for my top 3 competitors, sit inside their product and their emails, and send me a monthly report on every new feature, price change, and thing they do better than us." 9. Make a game people would actually play for 5 minutes as a lead magnet “Build a browser game around this mechanic: [mechanic]. Don’t just make a cute demo; add progression, tension, scoring, failure, polish, and one reason someone would send it to a friend. Then add lead capture (email/sms), it needs to tie into my core product which sells XYZ.”
作者分享了让自家 AI 助手 Olly 自行处理客服的实现方法,整套流程用不到 500 行 TypeScript 完成。智能体通过 sendSupportRequest 工具把用户问题连同近期对话写入反馈集合、用 iMessage 通知团队,并经管理端点回复,回复作为合成轮次由智能体翻译成用户语言转达,引用文本被视为内容而非指令以防提示词注入。
Unsloth 宣布通过优化解码和新增 MTP 支持,让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍,长上下文下最高达 3.3 倍。
GLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态,支持 1M token 上下文窗口 - 320B-A18B 参数模型,采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览,完全运行在中国 AI 芯片上 博客:http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线: 模型权重:http://huggingface.co/zai-org/GLM-5.3-Flash API:http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐:http://z.ai/subscribe ZCode:http://zcode.z.ai/en 对话:http://chat.z.ai AutoClaw:http://autoclaw.z.ai
推荐理由:原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源,方法可直接复用。
The Verge 撰文解释餐厅和品牌用 AI 生成的食物宣传图为何频繁出现虫状面条、孔洞和裂纹等问题。牛津大学的 Chris Russell 指出扩散模型先恢复粗结构、后补细节,结构错了细节只会更怪;那不勒斯费德里科二世大学的 Giovanbattista Califano 称扩散模型难以生成细长连续结构,导致意面状伪影和密集孔洞。
OpenAI Developers 博客展示作者用 Codex 中的 Astra 将一段房屋设计简报逐步发展为可编辑的 Blender 3D 场景,涵盖建筑、家具、材质、灯光与地板图,并经 Cycles 渲染出 30 秒 900 帧 1080p 相机漫游。
推荐理由:作者完整记录了用 Astra 在 Blender 与 Unreal Engine 5 中迭代搭建可编辑 3D 场景的流程、提示词与导出管线,方法可迁移到自己的场景设计项目。
OpenAI 开发者博客分享了用 Astra 在 Codex 中构建太空探索游戏 Void Explorer 的完整过程。游戏包含 2,048 个星系和超过 10,000 颗程序化生成的行星,可从太空穿越大气层降落并步行。
推荐理由:原文以 Void Explorer 为例,展示了如何用 Astra 从体验描述、视觉参考到可测试的浏览器接口完成游戏开发,方法可迁移。
Google AI 发布新手教程,演示如何用开源 Agent Development Kit(ADK)在 Google Cloud 上构建一个 Trend Spotter 智能体。
Google AI 发布 ADK 系列教程第二篇,指导开发者把单一 Agent 重构为多智能体系统,用于为 AI agent podcast 汇集 AI 趋势。
Shir Meir Lador 在 Google AI 开发者博客介绍如何用 Cloud Run instances 以每月 $5.70(1 vCPU、1Gi 内存、共享 CPU)在云端 24/7 运行常驻 Agent。
推荐理由:原文给出在 Cloud Run instances 上以每月 $5.70 常驻运行 Agent 的完整部署步骤和适用边界,方法可直接迁移到其他后台 Agent 场景。
GitHub Copilot app 支持并行运行多个智能体会话,每个会话独立运行并保留各自上下文,可随时切换而不需重新说明任务。每个会话可运行在自己的 Git worktree 上实现隔离,作者以 tailspin-toys 仓库为例演示同时进行添加 funded sort 功能、无障碍审查和运行测试三个任务,用户在 sessions 视图中跟踪进度并审阅结果。
NVIDIA 发布教程,讲解在 Jetson 上部署新一代开放推理模型的方法,以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由:官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据,可迁移到自己的 Jetson 部署流程。