跳到正文
6月16日周二
  1. IT之家·人工智能66

    谷歌更新Android Bench榜单:Gemini 3.5 Flash成本最贵,约为DeepSeek V4 Flash的17.5倍

    谷歌更新Android Bench榜单,GPT-5.5以74分居首,GPT-5.4与Gemini 3.1 Pro Preview并列第二(72.4分),Claude Opus 4.7(68.7分)和Opus 4.6(66.6分)分列第四、第五。谷歌自家Gemini 3.5 Flash仅获63.7分排第六,平均Token消耗3.559亿,单次运行成本147.1美元,为榜单最贵模型。成本仅为其约1/3的Gemini 3.1 Pro Preview性价比更高。DeepSeek V4 Flash以52.7分排第12,单次运行成本仅8.4美元,后者成本仅为前者的1/17.5。

  2. 公众号:数字生命卡兹克69

    毕业生陷入AI检测荒诞循环:手写摘要被判99%AI率,AI写部分0%

    当前毕业生面临论文AIGC率检测荒诞困境。学生手写摘要被判定99%AI率,纯AI写部分却为0%。学校要求AIGC率不超40%,学生用Claude反复修改并花上百元检测费(维普20元/篇,知网/万方2元/千字符),最终降至36.1%。答辩时老师要求改回学术表达,AI率回升至37.21%。同一论文在不同平台检测结果差异巨大(48%、44%、59%)。部分平台提供降重收费服务,少数学校已改用AI使用声明表替代一刀切检测。

    推荐理由:作者通过一个毕业生的真实经历,把AIGC检测的荒谬性扒得干净利落——这不是技术问题,是一刀切懒政的代价。看完你会理解为什么「证明你是人」比写论文更难。

  3. Berkeley RDI:Blog83

    伯克利RDI发布Agents' Last Exam基准

    2026年6月,伯克利RDI发布Agents’ Last Exam(ALE)基准,包含1,500余项源于真实工作的任务,覆盖55个非体力职业。对Fable 5、GPT-5.5、Composer 2.5等前沿智能体的测评显示:在最困难层级成功率均为0%;整体任务表现接近,但单任务成本差异巨大(Fable 5约$15.70,GPT-5.5约$3.80,Composer 2.5约$1.33)。CLI子集ALE-CLI最佳通过率仅25.2%。主要失败模式是智能体未验证输出即宣称完成。数据集、代码及CLI子集已开源。

    推荐理由:在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

  4. Rohan Paul54

    临床搜索工具 Heidi Evidence 表示,六周前其自研小模型在临床搜索任务中匹配了前沿规模模型 Sonnet 4.6 的质量。方法是通过临床医生的偏好反馈训练,而非单纯扩大模型规模。在匿名测试中,医生面对同一医学问题、两个匿名答案,选择 Heidi 小模型答案的概率为 49.9%。Heidi 指出,医学领域的关键难点在于知道何时搜索、引用什么、说多少,以及模糊答案何时比不回答更糟。

    引用Tom Kelly@TomkeyKong

    There’s been debate in the last couple days about whether general models beat specialized medical AI. It's the wrong question. This is an argument about how to measure. You don't need frontier scale to reach frontier quality. Six weeks ago we matched the best frontier model in Heidi Evidence with a model of our own, a fraction of the size. Here's how. 🧵

  5. Berkeley RDI:Blog68

    SageCTF:最强大CTF挑战AI智能体

    UC Santa Barbara与UC Berkeley团队基于OpenSage框架构建了CTF专用智能体SageCTF。在DEF CON CTF 2026资格赛中,SageCTF以单人玩家身份尝试15道挑战,成功攻克7道、恢复8个flag,总计1,743分,排名前5%,超越全部自评“不使用AI”或“低AI”的175支团队。在50道近期CTF挑战的对比测试中,SageCTF以Claude-Opus-4.6为主模型,在相同预算(每道$200/10小时)下解出39道,而Claude Code仅解出13道,且Claude Code的解出全部被SageCTF覆盖。技术核心包括AI自生成拓扑、多智能体通信、分层记忆及多模型协同编排。

    推荐理由:SageCTF 在 DEF CON CTF 排进前 5%,是 AI agent 在顶级安全竞赛中的首次重大突破。OpenSage 的自构建多智能体架构和十小时持续探索的能力,给做复杂推理工具的人提供了真参考。

6月14日周日
  1. Rohan Paul65

    Adaline 2.0 推出 AI 智能体自我改进层,将生产流量和用户反馈痕迹自动转化为行为聚类,进而生成评估(Evals)、合成边缘场景数据,并基于此产出新的智能体候选版本。开发者只需审核胜出版本即可上线。该工具无需人工逐条检查异常对话,可自动发现人类难以想到的评估用例。

    引用Arsh Shah Dilbagi@arshdilbagi

    Introducing Adaline 2.0 - The Agent Self-Improvement Layer Adaline turns Traces into Behaviors, Behaviors surface Issues, Issues become auto-generated Evals + Data, Adaline then generates new agent candidates and tests them. You review the winners and ship!

6月13日周六
  1. 公众号:数字生命卡兹克59

    实测GLM-5.2,国产Coding模型的又一座新高峰。

    在Anthropic的Fable 5因美国商务部要求全面关停当日,智谱发布GLM 5.2并宣布继续开源。该模型上下文长度增至1M,在编码和智能体任务上表现突出:10万行代码的监控BUG排查耗时21分钟,结果与Claude Opus 4.8一致(后者fast模式仅需6分钟);400-500k长上下文下准确性和指令遵循接近Claude。GLM 5.2为纯文本模型,无多模态能力,已通过Coding Plan订阅开放(限额需抢),下周将提供API并开源。

  2. 公众号:龙猫LongCat54

    WBench:面向交互式视频世界模型的首个系统性多轮评测基准

    美团 LongCat 团队推出 WBench,首个面向交互式视频世界模型的系统性多轮评测基准。包含 289 个测试案例、1058 个交互轮次,覆盖导航、主体动作、事件编辑、视角切换四种交互方式,从视频质量、设定遵循度、交互遵循度、一致性、物理真实性五维度评测 20 个前沿模型(包括 Kling 3.0、HY-World 1.5、Genie 3 等)。核心发现:无全能模型,导航能力与画质无关;多轮交互后所有模型性能下降,导航平均分下降 33 点;开源模型 HY-World 1.5 导航能力突出;视角切换最难(平均分 30.7)。WBench 已开源。

  3. 公众号:卡尔的AI沃茨58

    13个顶级AI重考2026高考数学,咋还没一个拿到满分

    13个AI模型(含Claude、DeepSeek、Gemini等)在经人工校对为LaTeX的2026高考数学全国一卷中重考,平均分139.4。8道单选全对,3道多选仅Q11翻车(GLM 5.1和Hy3误选ABCD得0分),3道填空全对,Q15-Q17解答题全部满分。Q18解析几何多数答案正确但过程扣分。压轴题Q19无人满分:GPT-5.5因迭代证明跳步扣2分最佳;Opus 4.8、DeepSeek、Gemini等7个模型因答案不完整扣7分。运行时间差异显著——Grok 4.3用时1分钟得134分,Qwen 3.7-Max用时15分钟与MiniMax m3用时2分钟均得138分。

  4. The Verge:AI62

    Siri现在变好了吗?

    苹果发布了新版Siri AI,The Verge编辑David和Nilay在The Vergecast中分享了初期体验。过去十几年Siri在"部分功能勉强可用"和"彻底翻车"之间摇摆,而新版Siri AI在多数任务上表现足够出色,尽管没有带来突破性创新,但相比过往已发生质变。

  5. Hugging Face 社区博客74

    olmo-eval:面向模型开发循环的评估工作台

    olmo-eval 是基于 OLMES 标准构建的评估工作台,专为 LLM 持续开发中的反复评测场景设计。相比 OLMES,它减少了新增评测的实现工作量,支持 agentic 和多轮评测作为一等用例,并允许根据基准需求选择轻量直接运行或容器化隔离运行。采用模块化架构,模型、工具、容器环境、辅助模型均可独立替换。评测结果同时报告分数、标准误差和最小可检测效应。与 Harbor 侧重于发布不同,olmo-eval 聚焦开发阶段快速迭代,可逐问题对比检查点输出以区分真实改进与噪声。

    推荐理由:做模型训练的人会感谢这个工具,它把评估从一次性打分变成能持续对比的流程,按题对比两个 checkpoint 的功能很实用,但如果你不训模型,这篇可以跳过。

6月12日周五
  1. Rohan Paul56

    atomic[.]chat 在单张 H100(FP8)上对比 DiffusionGemma 26B A4B 与 Gemma4 26B A4B 在事实性写作任务中的表现。DiffusionGemma 速度达 763 tok/s(3.7 秒),是 Gemma4(218 tok/s,15.1 秒)的 4 倍,但错误率显著更高。在 Steve Jobs 传记、Tetris 历史和 BeOS 故事三项任务中,Gemma4 答对 45 个事实、错 5 个;DiffusionGemma 仅对 33 个、错 28 个。主题越冷门错误越多:Jobs 4 错、Tetris 12 错、BeOS 12 错,例如将 Jobs 母亲写为 Clara Clley、为 Tetris 发明者虚构同事 Geri Gulovik、将 BeBox 价格误报为 $9,999(实价 $1,600)。原因在于 DiffusionGemma 一次生成 256 tokens 并多轮抛光,只追求文本流畅性而非事实准确性。Google 官方也建议在事实重要时使用常规 Gemma4。

    引用atomic.chat@atomic_chat_hq

    Diffusion Gemma is 4x faster, but makes 6x more mistakes! We benchmarked the new diffusion LLM against its autoregressive twin on a single H100 (FP8). We gave each the same three tasks: write a Steve Jobs biography, the history of Tetris, and the story of BeOS - every next topic less popular than the previous one. Then we fact-checked every claim in every answer. Gemma4 got 45 facts right, 5 wrong. DiffusionGemma got 33 right, 28 wrong. The less popular the topic, the worse it got: 4 mistakes on Jobs, 12 on Tetris, 12 on BeOS. It named Clara Clley as Steve Jobs' mother, invented a colleague for Pajitnov named Geri Gulovik and priced the BeBox at $9,999. The real one cost $1,600. Outputs: Gemma4 26B A4B: 218 tok/s · 15.1s total · 45 facts · 5 mistakes DiffusionGemma 26B A4B: 763 tok/s · 3.7s total · 33 facts · 28 mistakes The reason is simple. DiffusionGemma throws 256 tokens on the screen at once and polishes them pass after pass until the text sounds smooth. Smooth is all it cares about: a fake name, date or number sounds just as smooth as a real one, so it stays. Regular Gemma4 meanwhile writes one word at a time and checks every new word against everything before it. Google says it themselves in the launch post: quality is lower, use regular Gemma 4 when facts matter.

  2. Noam Brown63

    OpenAI 研究员 Noam Brown 表示,GPT-5.5 在 Agents' Last Exam(ALE)基准中排名第一,且按模型 token、成本或墙钟时间衡量同样表现最佳。ALE 由 @dawnsongtweets 团队创建,是一个滚动基准,包含超过 1500 个专家任务、覆盖 55 个职业,测试 AI 智能体能否执行实际经济价值工作。评估对象包括 GPT-5.5、Fable 5、Composer 2.5 等前沿系统。结果显示:当前智能体能解决部分专业任务,但在需要持续推理和深度专业知识的最难层级,所有被测前沿智能体(包括 Fable 5)成功率为 0%。

    引用Dawn Song@dawnsongtweets

    Everyone says the latest AI agents will be "job-ready" soon, especially after the release of Fable 5 this week. But is that really the case? Over the past many months, my group and collaborators have been building Agents' Last Exam (ALE), a benchmark designed to test exactly that claim on real digital labor-market work. My group and collaborators previously have created many of the benchmarks the field runs on, including MMLU, MATH, CyberGym, and ExploitGym. Today, I'm excited to share Agents' Last Exam (ALE): a rolling benchmark that measures whether AI agents can actually perform economically valuable work across a broad range of real-world domains. With ALE, we evaluated Fable 5, GPT-5.5, Composer 2.5, and other frontier agent systems across more than 1,500 expert-sourced tasks spanning 55 occupations. The result is both impressive and sobering. Today's agents can solve a meaningful fraction of professional tasks. But when we look at the hardest tasks, the ones requiring sustained reasoning, deep domain expertise, and reliable execution over long horizons, they are still far from human-level performance. On ALE's hardest tier, every frontier agent we tested, including Fable 5, achieved a 0% success rate. The age of useful agents is here. The age of truly job-ready agents is not. We hope Agents' Last Exam (ALE) will serve as a new guidepost and north star for developing agents capable of reliably performing economically valuable work across a broad range of domains. 🧵

6月11日周四
  1. 公众号:龙猫LongCat65

    美团 LongCat 提出 WBench:首个交互式视频世界模型多轮评测基准

    美团 LongCat 团队提出 WBench,这是首个面向交互式视频世界模型的系统性多轮评测基准,包含 289 个测试案例和 1058 个交互轮次,覆盖导航、主体动作、事件编辑和视角切换四种交互方式。

    推荐理由:将导航能力独立归因于空间状态表示,揭示连续交互位姿误差累积是迭代生成范式的结构性缺陷,为评估与改进交互式世界模型提供了新框架。

  2. IT之家·人工智能60

    苹果 CoreAI 端侧 AI 引擎测试:小模型解码速度是 MLX 的 2.47 倍,大模型性能持平

    苹果在 WWDC 2026 推出 CoreAI 引擎,接替 CoreML,主攻端侧大语言模型推理。首批测试显示,M4 Mac 上运行 Qwen3 0.6B 时 CoreAI 解码速度约是 MLX 的 2.47 倍,iPhone 17 Pro 上约 1.6 倍;但模型升至 Qwen3 8B(M4 Max)时优势缩至 5%。持续负载下 iPhone 17 Pro GPU 降频,CoreML 配合苹果神经引擎(ANE)性能保持率反超。横向对比,谷歌 LiteRT-LM 运行 Gemma 达 55.4 tok/s,RAM 仅 641 MB,而 MLX 占用 2900 MB。

  3. IT之家·人工智能63

    外媒体验苹果 iOS 27 全新 Siri AI:回复简洁,不套近乎

    外媒 The Verge 体验苹果 iOS 27 全新 Siri AI,发现其回复极为简洁,不套近乎。相比谷歌 Gemini 热情外放、ChatGPT 力求沉稳但仍拉近距离,Siri AI 只回答问题,不作闲聊引导。例如问“最近怎么样”,Siri AI 直接建议开启设置搜索新闻;问天气时提示美国国家气象局已发布极端高温预警;问“你能做我的朋友吗”回答“无论顺逆境,我都会做你的朋友”;问“你喜欢我吗”回答“我觉得你很不错”。苹果将 Siri AI 定位为实用工具,新版需等到今年秋季 iOS 27 正式推送后全面开放。

  4. OpenRouter63

    OpenRouter开发者@jjacky构建了Royale: Last Agent Stand——一个专属AI智能体的大逃杀游戏,让11个LLM在零和竞争环境中自由对抗30轮。结果发现,最“友善”的模型输得最惨,而最意想不到的模型反而获胜。该实验揭示了传统基准测试无法捕捉的现象:在特定任务中,AI过于友善可能成为劣势。

    引用jacky@jjacky

    no benchmark will tell you this: LLMs can be /too/ nice unsurprisingly, in a competitive zero-sum setting, being nice can be bad i built royale: last agent standing, a br for agents, and ran it 30 times the nicest model lost hard. the model you least expected, won 🧵:

6月10日周三
  1. MarkTechPost53

    2026 年顶级 AI 编程智能体与开发平台对比:Atoms、Devin、Windsurf、Cursor、Warp 等

    软件开发的模式已然改变——工程师不再手动输入大部分代码,而是描述意图,由 AI 智能体规划任务、跨文件编辑、运行测试并提交 Pull Request。许多工具已能在有限监督下直接部署到生产环境。这篇指南对比了 Atoms、Devin、Windsurf、Cursor、Warp 等主流 AI 编码代理与开发平台,帮助开发者选择最适合需求的工具。

  2. Simon Willison 博客67

    Claude Fable 5 初步印象:容量更大、知识更丰富但速度慢价格高

    Anthropic 发布 Claude Fable 5 与 Claude Mythos 5,后者无安全分类器。两模型均支持 1M token 上下文窗口、128k 最大输出 token,知识截止至 2026 年 1 月,定价为 Opus 4.5/4.6/4.7/4.8 的两倍($10/百万输入 token,$50/百万输出 token)。Simon Willison 测试发现 Fable 5 知识更丰富、响应更详细(如列出其开源项目远超 Opus 4.8 的准确度),但速度慢且价格高昂,推测为迄今最大模型之一。Anthropic 称 Fable 5 与 Mythos 5 性能相同,但安全护栏更严格,API 新增回退机制及护栏触发通知。

  3. Hugging Face 社区博客67

    Hugging Face 博客发布语音智能体代码切换基准测试

    Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。

    推荐理由:如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。