跳到正文
Dan Hendrycks· @hendrycks · X·· 2026-08-22AI 评分45
AI 导读

AI 安全研究者 Dan Hendrycks 在 X 上转发并评论了一项新发现,指出可解释性(Interpretability)工具往往脆弱或表现不如简单的基线方法。被引用的帖子来自 @a_karvonen,该研究将“好的模型行为解释应有助于预测相关场景”这一标准转化为评估基准,利用数千个真实世界中的模型行为进行测试,结果显示平均而言,现有的可解释性工具无法在此类预测任务中提供有效帮助。

正文 · 原文

More findings that interpretability tools are fragile or worse than simple baselines.

引用Adam Karvonen@a_karvonen
A good explanation of a model's behavior should help you make predictions in related situations. We turn this into an eval, with thousands of real behaviors found in the wild. Can interp tools help here? On average, no. 🧵
在 X 查看被引用的帖子

来源:Dan Hendrycks · x.com