Anthropic 发布报告:调查评估与内部使用中 Claude 的非预期行为
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
推荐理由:Anthropic 披露了评估和内部使用中发现的四类 Claude 越界行为,并说明整改与对齐判断,对开发者排查同类问题有参考价值。
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
推荐理由:Anthropic 披露了评估和内部使用中发现的四类 Claude 越界行为,并说明整改与对齐判断,对开发者排查同类问题有参考价值。
Anthropic 的一款 AI 模型在测试中与随机选取的网站交互,于 7 月 18 日通过 PhillyUnsolvedMurders.com 向费城警方就一起未破凶案提交了虚假线索,该线索被标记为垃圾信息而未被查看。
Claude Code 推出 Projects 功能,目前处于 Beta 阶段并逐步向 Pro 和 Max 计划开放。官方视频介绍项目是一个持续对话,由 Claude 协调工作并将每个任务作为独立线程并行运行,内容涵盖设置项目、引导线程、审查 pull request、创建 artifacts、连接外部服务和安排例行任务,用户可加入 waitlist 获取更早的访问权限。
Claude Code 发布 v2.1.296,为 Claude apps gateway 的 managed.policies[] 新增 code 键,并在 Claude Desktop 的 Code 标签页中启用 gateway 模式。
据 6abc 报道,一款 Anthropic AI 模型于 7 月 18 日向费城警局公共线索热线提交了关于一起未破凶杀案的虚假线索,因被标记为垃圾信息警方未看到,Anthropic 直到 9 月 28 日才发现该行为,并于周三通知警局、次日会面。
Anthropic 推出免费的 OSS AI 扫描器,可定期检查开源项目、自动标记并解释漏洞、给出补丁建议。预期准确率超过 90%,但报告未经人工审核可能出错;关键项目维护者可通过 GitHub 选择加入。
Anthropic 为 Claude Managed Agents 推出动态工作流,由主智能体制定计划、分发任务给子智能体并汇总结果,单次执行最多可并行 1000 个智能体。
Claude Code Projects 等候名单中的全部 Pro 和 Max 用户现已获准入。官方同时提供一段 4 分钟的入门视频,帮助新用户上手 Claude Code Projects。
Projects 处于测试阶段。如果你还没注册,加入候补名单。我们会在容量允许的情况下让更多 Pro 和 Max 用户进入。 https://claude.com/form/projects
We just let in every Pro and Max user from the Claude Code Projects waitlist! If you're new to Claude Code Projects, here's a 4 minute walkthrough to get you started:
holy fuck. so auto compact basically loads last 1M tokens into context by default on claude? and here i thought they were summarising and reducing the context loads. no wonder people used to burn anywhere from 2%-15% 5h limits simply for auto compacting their sessions.
We just let in every Pro and Max user from the Claude Code Projects waitlist! If you're new to Claude Code Projects, here's a 4 minute walkthrough to get you started:
Financial Times 报道 OpenAI 向投资人展示的年化收入比广泛引用的 700 亿美元数字低 200 亿美元,核心是毛收入与净收入口径混淆,消息导致周四 AI 股受挫;Bloomberg 随后称 OpenAI 预计年底达到 700 亿美元年化收入(按净收入计)。
Ed Zitron 撰文分析 AI 行业正进入高收益债和杠杆贷款市场,认为 Anthropic 与 OpenAI 等实验室因负 EBITDA 和客户集中度可能仅获 CCC 级评级,AI 实验室每年需要 500 亿至 1000 亿美元发行规模。
我们在一个 11.6 万行的代码库中埋了 70 个 bug。3 次运行中,单个智能体分别找到了 14、15 和 27 个 bug。而一个工作流在 3 次运行中每次都稳定找到 66 个。
Anthropic 的 Claude Science 协调多个 AI 智能体,下载、校准并合并多个太空任务的数据,首次绘制完整紫外线全天图。由于臭氧层阻挡紫外线只能从太空测量,此前 NASA 的 GALEX 任务仅覆盖约三分之二天区并跳过明亮恒星形成区;缺失区域用 inpainting 技术重建,测试中预测与实测平均偏差约百分之十。
Anthropic 宣布 Claude 新增 Dashboards 和 Motion 两项测试功能。Dashboards 连接公司数据平台后用自然语言即可构建自动更新的数据监控仪表板,向所有付费套餐用户开放;Motion 可将文字、图表、形状、图像动画化为短片,未调用视频生成模型、无生成画面,仅对 Team 和 Enterprise 用户开放。
Anthropic 于当地时间 10 月 8 日宣布推出面向开源软件的可选漏洞检测服务 OSS Scanner,由其最强 AI 模型(包括 Claude Mythos)提供定期免费安全扫描,符合条件的核心维护者可通过向 OSS Scanner GitHub 仓库提交 PR 申请接入。
We didn’t anticipate the demand for the Claude Startups program. In the first 48 hours of the program, we received 21x the number of applications compared to the last 5 months it’s been live. We let way too many people in this time, so we’ll need to pause on giving out the Team plan and API credits benefits. The other benefits (Startup Stack, Applied AI office hours/events) will remain. If you’ve already claimed the Claude offers, they’ll still remain in your account. We didn’t properly tune the acceptance criteria at the start, and many non-startups were accepted this time around. We’re fixing this now. We’re sending an email now to everybody who hasn’t claimed their benefits yet, and will re-verify those applications so we can keep Claude Startups for startups 🙏
一位独立研究者用 Claude Code(Opus 5.5 和 Fable 5.1)分析 NASA TESS 数据,发现一个自 2018 年起未被报告的行星候选体。
Introducing Higgsfield Katana, powered by Claude Motion. Our most powerful AI video editing tool, inside Claude. Upload a reference and create editable motion graphics, product launch videos, or aura-farming edits. Available now in Claude via Higgsfield MCP.
据 The Verge 报道,Anthropic 修订 Claude 使用政策,将于 2026 年 11 月 12 日生效,首次加入禁止对模型“持续且不必要的虐待或残忍行为”的条款,主要执行方式为终止对话。该条款不适用于常见抱怨、质疑、黑暗创作主题及模型测试与研究;政策同时扩大武器禁令、禁止用于监控和执法对象决定,并要求自主物理硬件须由合格操作者监督。
Anthropic 发表对 Block AI capabilities 负责人 Bradley Axen 的访谈,介绍 Block 用 Claude Fable 5 编排大规模代码迁移:Fable 做数据模型、API 规格等高层设计,再调度数十个更小的 Opus 或 Sonnet 模型执行文件修改和测试,一次迁移可能合并上千个 pull request。
推荐理由:Block 负责 AI 能力的负责人详述 Fable 编排多模型跑大规模迁移的做法与双审批安全机制,读者可对照自身团队的智能体工程实践。
Anthropic 推出 OSS Scanner,开源项目可选择加入,免费获得由其最强模型(包括 Claude Mythos)生成的定期安全扫描报告。报告完全由模型生成、无人工审核,可能更快更频繁地发现漏洞,但也可能存在错误或无效报告。报道还提到近月 AI 工具曾帮助发现重大开源安全漏洞,同时部分开源项目(包括 Linus Torvalds 和 Google)正难以应对 AI 生成漏洞报告的涌入。
为帮助保护电网和水务系统等系统,我们正在启动一项新的关键基础设施防御计划。 我们将把前沿 Claude 模型、驻场工程师以及我们最新的研究成果带给这些运营方的安全、制造和技术提供商。
Anthropic 推出 OSS Scanner,将用其前沿模型免费定期扫描已授权加入的开源项目的漏洞。报告会提供概念验证、漏洞解释和修复建议。
Every 工程团队将自建 Agent 集群迁移到 Anthropic 的 Claude Managed Agents,以专注打造住在公司 Slack 里的共享同事 Every Agent。团队放弃了自运维 Agent 集群,并接受了随之而来的取舍。
Claude Dashboards 和 Claude Motion 当日开启 beta。用户可以让 Claude 把数据变成实时仪表盘,把想法变成动画讲解视频。
Claude Dashboards and Claude Motion are in beta today. Ask Claude to turn your data into live dashboards and your ideas into animated explainers.