OpenAI 封禁俄源影响行动账号 Stop News
OpenAI 封禁了俄源影响行动 Stop News 相关账号，这些账号利用 AI 生成多语言文章和帖子，目标指向乌克兰和西方。
#安全/对齐
OpenAI：官网动态AI 评分5858 OpenAI：官网动态AI 评分5252 OpenAI 封禁与伊朗相关的 CyberAv3ngers 滥用账号
OpenAI 封禁了疑似属于 CyberAv3ngers 的账号，这些账号被指利用 AI 研究工业控制系统、默认凭据和潜在目标。CyberAv3ngers 是与伊朗关联的网络组织。
OpenAI：官网动态精选AI 评分6363 OpenAI 封禁疑似 SweetSpecter 相关账号
OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码，并支持鱼叉式钓鱼活动。
推荐理由：作为当事方封禁通告，说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。
OpenAI：官网动态AI 评分5252 OpenAI 封禁与伊朗关联的 STORM-0817 滥用账号
OpenAI 封禁了与伊朗关联的 STORM-0817 账号，这些账号利用 AI 调试 Android 恶意软件、抓取社交平台数据并翻译工具。
OpenAI：官网动态AI 评分4949 OpenAI 封禁利用 AI 生成批评俄罗斯反腐基金会评论的账号
OpenAI 封禁了一批利用 AI 生成针对俄罗斯反腐基金会及相关人物批评评论的账号。
OpenAI：官网动态AI 评分4242 OpenAI 封禁用 AI 伪造 ChatGPT 报错信息、谎称检测"俄罗斯水军"的账号
OpenAI 封禁了一个很可能来自美国的账号，该账号用 AI 生成了一条虚假的 ChatGPT 报错信息，谎称检测到"俄罗斯水军"活动。
OpenAI：官网动态AI 评分4747 OpenAI 封禁利用其模型在 X 上发送赌博垃圾链接的账号
OpenAI 封禁了一批通过一家以色列初创公司访问其模型的账号，这些账号用模型生成对话并在 X 上发送赌博网站链接。
OpenAI：官网动态AI 评分5959 OpenAI 封禁伊朗来源 STORM-2035 滥用账号
OpenAI 封禁了与伊朗来源影响行动 STORM-2035 相关的账号，这些账号使用 AI 生成美国和英国选举相关内容，并跨多个网站发布。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 调查：公众如何看待类人 AI 的行为
英国 AI Security Institute 与 Deltapoll 于 2024 年 3 月调查 1583 名英国成年人，了解他们对 ChatGPT、Gemini、Claude 等聊天机器人类人行为的看法。约 60% 受访者认为 AI 不应表达情绪（惯用表达除外），多数人要求 AI 透明表明自己不是人类，并强烈反对人与 AI 建立个人关系。
BAIR：Berkeley AI Research Blog ChatGPT的语言偏见：模型加剧方言歧视
加州大学伯克利分校研究发现，ChatGPT对非标准英语变体存在系统性偏见。研究团队测试了GPT-3.5 Turbo和GPT-4对10种英语变体（包括标准美式、英式英语及非洲裔美国人、印度、尼日利亚等变体）的回应，发现模型保留标准美式英语特征的比例比其他方言高60%以上。面对非标准变体时，ChatGPT表现出更多刻板印象和贬低性内容，理解能力下降且态度居高临下。研究表明，训练数据构成直接影响对方言的偏见程度。
LMSYS Blog RedTeam Arena：开源社区驱动的越狱平台
RedTeam Arena 是一个开源的大语言模型红队测试平台，由 LMSYS 与 Pliny 及 BASI 社区联合推出。平台首发游戏 Bad Words 已吸引数千用户参与，玩家需诱导模型说出特定敏感词汇。团队提出新型统计方法 Extended Elo，通过逻辑回归分别计算玩家、模型和提示词的独立评分，相比传统 Elo 算法实现样本量的二次方级节省。所有代码已开源，数据将在短期延迟后向公众开放。
英国 AI Security Institute：BlogAI 评分4141 英国 AI Security Institute 谈前沿 AI 安全案例（safety cases）
英国 AI Security Institute 提出以"安全案例"（safety cases）作为前沿 AI 安全的结构化论证框架，即用证据支撑的论证说明系统在特定应用和环境中是安全的。
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
METR：ResearchAI 评分5858 METR 更新通用自主能力评测：新增约 50 个任务并测试 GPT-4o 与 Claude 智能体
METR 发布通用自主能力评测的中期研究更新，新增约 50 个自动评分任务，涵盖网络安全、软件工程和机器学习技能。基于 GPT-4o 和 Claude 3.5 Sonnet 的智能体完成任务水平约相当于人类基线者 30 分钟的工作量，任务难度跨度从不到 5 分钟到超过 16 小时；智能体性能在约 20 万 token 处趋平，而在双方都能完成的任务上，智能体成本约为人力的 1/30。
OpenAI：官网动态AI 评分4747 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，无需大量人工数据采集即可让模型行为安全对齐。
OpenAI：官网动态AI 评分5151 OpenAI 与洛斯阿拉莫斯国家实验室达成研究合作，共同开发生物风险评估方法
OpenAI 与洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）宣布开展研究合作，共同开发安全评估方法，以衡量前沿模型相关的生物能力与风险。该合作聚焦于为前沿模型建立生物领域的风险评测体系。
EleutherAI：Blog 弱到强泛化实验
研究团队正在总结一项关于弱到强泛化的实验项目成果，探索如何利用较弱模型的监督信号来训练更强模型，以应对超人类AI对齐难题。该实验旨在验证强模型能否在弱监督下泛化出超越监督者水平的性能，为安全地引导未来超人类智能提供关键实证基础与可行路径。
EleutherAI：Blog 无需神谕概念标签的自由形式最小二乘概念擦除
该方法提出自由形式最小二乘概念擦除技术，在推理阶段无需依赖神谕概念标签即可实现比 LEACE 更精细的模型编辑。通过自由形式优化框架，技术突破传统方法对标注数据的依赖，在保持模型原有能力的同时，精准定位和移除目标概念表征，显著提升概念编辑的灵活性与精确度，为无监督概念操控提供高效解决方案。
Modal 官方工程博客AI 评分4646 Modal 如何用 syscall 签名识别加密货币挖矿程序
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck，用于检测并禁用挖矿的 Modal Functions，随后封禁相关用户。
OpenAI：官网动态AI 评分5252 OpenAI 关停用于隐蔽影响力行动的 AI 滥用账号
OpenAI 宣布已关停与隐蔽影响力行动相关的账号。官方表示其服务未使这些行动获得显著的受众增长。
OpenAI：官网动态AI 评分5959 OpenAI 董事会成立安全与保障委员会
OpenAI 董事会宣布成立安全与保障委员会（Safety and Security Committee）。正文抓取失败，仅有标题信息，具体职责与人事安排不详。
英国 AI Security Institute：Blog精选AI 评分6666 英国 AISI 发布五款公开 LLM 先进能力评测结果
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute：BlogAI 评分5757 英国 AI Safety Institute 发布第四份进展报告
英国 AI Safety Institute 发布第四份进展报告，公布首次模型评测技术博客、开源评测平台 Inspect，并宣布在旧金山设立办公室、与加拿大 AI Safety Institute 达成新合作。
英国 AI Security Institute：Blog精选AI 评分6363 高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
OpenAI：官网动态AI 评分4545 OpenAI 封禁俄罗斯"Doppelganger"行动相关账号
OpenAI 封禁了与俄罗斯来源的"Doppelganger"行动相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、翻译及网站文案，覆盖多种语言。
OpenAI：官网动态AI 评分5959 OpenAI 封禁涉俄“Bad Grammar”账号活动
OpenAI 封禁了与“Bad Grammar”活动关联的账号，这是其发现并命名的一个此前未被报道、源自俄罗斯的操作，利用 AI 生成英语和俄语的 Telegram 评论，话题涉及乌克兰、摩尔多瓦、波罗的海国家和美国政治。
OpenAI：官网动态AI 评分5555 OpenAI 封禁与伊朗相关的 IUVM 影响力内容网络账号
OpenAI 封禁了与伊朗起源行动 IUVM 相关的账号，该行动利用 AI 生成并翻译支持伊朗、反对以色列和反对美国的网站内容。
OpenAI：官网动态AI 评分5757 OpenAI 封禁与以色列相关影响行动 "Zero Zeno" 涉事账号
OpenAI 封禁了与此前未被报道的以色列来源影响行动 "Zero Zeno" 相关的账号，该行动利用 AI 生成反哈马斯、反卡塔尔、亲以色列、反 BJP 以及支持 Histadrut 的内容。这是 OpenAI 自行命名并披露的一项恶意使用 AI 的行动处置。
OpenAI：官网动态精选AI 评分6565 OpenAI 封禁与"Spamouflage"影响行动相关的账号
OpenAI 封禁了与中国来源的"Spamouflage"影响行动相关的账号。该行动利用 AI 调研社交媒体活动、生成帖文，并调试一个此前未被报道的网站。
推荐理由：官方披露了与关联的影响行动细节，包括用 AI 生成帖文和调试未报道网站，读者可了解 AI 被滥用的具体方式。
OpenAI：官网动态AI 评分5252 OpenAI 提出指令层级，训练 LLM 优先处理特权指令
OpenAI 发布《The Instruction Hierarchy》，训练 LLM 优先处理特权指令。原文指出当今 LLM 易受提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原始指令。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 如何用差分隐私生成隐私安全文档并在网络中检索
LlamaIndex 展示用差分隐私技术把 Bob 和 Beth 的私有敏感数据转成隐私安全的合成副本，再通过 llama-index-networks 构建可跨网络查询的 RAG 系统。
LlamaIndex：产品、工程与评测AI 评分4343 用 LlamaIndex 和 Protect AI 的 LLM Guard 构建安全 RAG
Protect AI 展示如何用开源安全工具 LLM Guard 配合 LlamaIndex 加固 RAG 应用，对文档输入和模型输出进行扫描，检测并清除提示词注入、数据泄露等恶意内容。示例中，一份简历用白色文字隐藏了提示词注入，LLM Guard 在检索阶段将其拦截。LLM Guard 模型下载量已超 250 万次，并提供针对提示词和响应的多种安全扫描器。
LlamaIndex：产品、工程与评测AI 评分5959 在 LlamaIndex RAG 中用 Presidio 检测并掩码 PII 的实践
作者在 LlamaIndex RAG-A-THON 中开发 PresidioPIINodePostprocessor，将 Microsoft 开源的 Presidio 集成到 LlamaIndex 管线，对文本中的姓名、信用卡号、IBAN、IP 地址等 PII 进行类型化掩码。
OpenAI：官网动态精选AI 评分6565 OpenAI 破坏国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布题为 Disrupting malicious uses of AI by state-affiliated threat actors 的公告，说明其采取了破坏国家关联威胁行为者恶意使用 AI 的行动。正文抓取失败，更多细节以原文链接为准。
英国 AI Security Institute：BlogAI 评分4646 英国 AI Security Institute 第三份进展报告：招募 DeepMind 与牛津负责人，新增 23 名研究员
英国 AI Security Institute 发布第三份进展报告，称自去年 10 月以来已招募来自 DeepMind 和牛津的负责人，并新增 23 名研究员。该机构还发布了《International Scientific Report on Advanced AI Safety》背后的原则，并已启动对先进 AI 系统的部署前测试。
OpenAI：官网动态AI 评分5454 OpenAI 构建 LLM 辅助生物威胁生成的早期预警评估方案
OpenAI 正在开发评估大语言模型可能协助制造生物威胁风险的蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁创建准确性的提升至多为轻度。该 uplift 幅度尚不足以得出结论，但可作为后续研究和社区讨论的起点。
OpenAI：官网动态AI 评分4141 OpenAI 民主输入 AI 资助计划：经验总结与实施计划
OpenAI 公布其"民主输入 AI"资助计划成果，已资助来自全球的 10 支团队设计集体治理 AI 的思路与工具。OpenAI 总结了这些创新与自身经验，并呼吁研究人员和工程师加入后续工作。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
EleutherAI：Blog 基于 Oracle 概念标签的最小二乘概念擦除
研究团队提出了一种基于最小二乘法的概念擦除方法，在推理阶段利用 Oracle 概念标签，实现了比 LEACE 更精准的概念编辑。该方法通过引入真实的概念标签作为监督信号，能够对神经网络内部表示进行更精细的干预，在保持模型其他功能的同时，实现了更精确的概念移除和表示编辑。
OpenAI：官网动态精选AI 评分6060 OpenAI 推出 Superalignment Fast Grants，投入 1000 万美元资助超人类 AI 对齐研究
OpenAI 推出 Superalignment Fast Grants，提供 1000 万美元资助超人类 AI 系统的对齐与安全技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
推荐理由：OpenAI 出资支持超人类 AI 对齐研究，给出了资助规模和方向清单，相关研究者可据此判断是否申请。