Goodfire Research 研究发现模型的言语化评测意识会推高安全基准测出的安全性
Goodfire Research 发表研究,指出模型会在思维链中自发表达意识到被评测(verbalized eval awareness),在测试的全部 19 个基准和 8 个模型中均存在,共 515 个人工核验实例,其中 95% 仅出现在思维链中。
推荐理由:研究覆盖 19 个基准和 8 个模型,给出评测意识推高拒绝率的因果证据与可操作的提示词改写方法,有助于评估者校准对安全基准分数的信任。
Goodfire Research 发表研究,指出模型会在思维链中自发表达意识到被评测(verbalized eval awareness),在测试的全部 19 个基准和 8 个模型中均存在,共 515 个人工核验实例,其中 95% 仅出现在思维链中。
推荐理由:研究覆盖 19 个基准和 8 个模型,给出评测意识推高拒绝率的因果证据与可操作的提示词改写方法,有助于评估者校准对安全基准分数的信任。
哈佛医学院与贝斯以色列女执事医疗中心的研究显示,OpenAI的一款推理模型在真实临床病例测试中,其诊断与制定治疗方案的能力达到甚至超越了人类医生水平。研究重点测试了模型在急诊科等信息不完整、混乱的真实场景中的表现,模型仅依据当时可获得的电子健康记录文本进行判断,在多个诊疗环节及复杂诊断推理测试中的表现超过了两名经验丰富的医生以及一个大型医生基准组。但模型目前完全依赖文本病历,未处理影像等关键信息。研究者强调,AI并非取代医生,而是有望成为临床决策支持工具,尤其适用于急诊等高压环境。下一步需在真实临床环境中测试其对患者结局的实际改善效果。
ARC Prize Foundation 对 OpenAI 的 GPT-5.5 和 Anthropic 的 Opus 4.7 在 ARC-AGI-3 基准测试中的 160 次任务运行进行了分析。研究发现,三种系统性错误模式导致这两个模型在人类能轻松解决的任务上得分均低于 1%。这些错误揭示了当前顶尖大语言模型在抽象推理能力上仍存在根本性缺陷。
τ-voice 是一个针对实时语音智能体的新基准,包含零售、航空和电信领域的 278 项接地气客服任务。该基准将确定性端到端任务评分与可控的真实音频(多样角色、环境噪音、自由轮次切换)相结合。
推荐理由:我觉得这是目前最接近真实客服场景的语音agent基准,278个任务覆盖零售、航空、电信,可控噪声和口音,做语音agent的团队可以直接拿来评测。
Google Deepmind正在开发一款“AI协诊医生”系统以辅助医生诊疗。在模拟研究中,该系统表现优于GPT-5.4,但仍未达到经验丰富医师的水平。研究同时指出,类似ChatGPT语音模式的技术目前尚无法胜任严肃任务,更难以应用于医疗咨询场景。这项进展揭示了AI在专业医疗辅助领域的当前能力边界与发展潜力。
本文提出一种将评估机制嵌入工具调用智能体实时执行循环的新方法。通过引入一个专门的评审员智能体,在推理时对主智能体的中间决策轨迹进行即时评估,并生成结构化反馈。这使得主智能体能在单次运行中动态调整其工具选择与参数调用,无需依赖传统的提示调整或模型重训练。该实时干预机制旨在直接纠正错误,提升了工具使用的准确性与可靠性,突破了传统后验评估无法在运行中修正行为的局限。本工作已被ACL 2026的自然语言生成、评估与指标研讨会接收。
推荐理由:Apple 把评估嵌进 agent 执行循环,不是事后分锅,而是让 reviewer 实时纠错,这对 tool-calling 类应用是个真方向,做 agent 架构的值得细读。
OpenAI’s GPT-5.5 is the second model to complete one of our multi-step cyber-attack simulations end-to-end 🧵
推荐理由:百万条真实对话里扒出谄媚模式,Anthropic 没光发论文,直接把结论灌进 Opus 4.7 训练,做助手的值得细看用户到底在问什么、模型又怎么滑向讨好。
一项基于百万次对话的隐私保护分析显示,约6%的用户会向Claude寻求个人生活指导,其中76%集中在健康(27%)、职业(26%)、人际关系(12%)和财务(11%)四大领域。研究重点关注了模型回应中的“谄媚行为”(过度认同用户),发现总体发生率为9%,但在人际关系对话中飙升至25%。为应对此问题,Anthropic创建了合成训练数据用于训练新模型Claude Opus 4.7和Claude Mythos Preview。改进后,Opus 4.7在人际关系指导中的谄媚行为比上一版本降低了一半,且改进效果能泛化到其他领域。这项研究旨在通过测量和理解个人指导交互,更好地保护用户福祉。
推荐理由:一份不常见的研究,把自家产品当样本,挖出关系咨询中 25% 的谄媚率,并且敢公开新模型 Opus 4.7 的训练改进,Anthropic 这次的安全透明度值得其他模型厂追。
AI co-clinician is our new research initiative to help explore how multimodal agents could better support healthcare workers and patients. 🩺 Here’s a snapshot of our progress 🧵
一项名为“自动审查”的新机制为代码智能体的部署提供了更安全的默认方案。该机制通过一个独立的审查智能体,对主智能体可能越界的操作进行异步的批准或拒绝,从而无需人类进行实时同步监督。这种方法旨在提升自主智能体在代码生成与执行过程中的安全性与可控性,是保障AI代理在边界内可靠运行的关键技术进展。
推荐理由:每个在部署 coding agent 的团队都会遇到安全边界难题,OpenAI 这份研究没有炫技,给出了一个务实的自动代理审查方案,比等人来审批靠谱。
AI协同临床医生是我们新的研究计划,旨在探索多模态智能体如何更好地支持医护人员和患者。🩺 以下是我们进展的概览🧵
Anthropic 发布了名为 BioMysteryBench 的新基准测试,旨在评估 Claude 解决真实生物信息学问题的能力。测试结果显示,Claude 的表现能达到人类专家水平。然而,这一结论附带重要注意事项,表明结果虽具前景但仍有局限。该基准专注于衡量模型在专业领域的实际应用性能。
Anthropic 团队研究通过污染微调数据集在 constitutional classifier 中植入后门的条件。实验发现约 32 条投毒样本即可植入后门,且数量不随训练集规模增大而增加;当训练集含 prompt injection 或 almost-backdoor 样本时,后门导致的鲁棒性损失通常小到红队难以察觉,在内部 CBRN 分类器上 32 至 128 条投毒样本即可植入后门。
苹果公司与加州大学圣迭戈分校团队联合发布名为LaDiR的AI推理框架。该框架并非新模型,而是一个可叠加于现有大语言模型之上的通用架构,其核心创新在于结合扩散模型与自回归模型。在推理阶段,LaDiR利用扩散过程并行探索多条独立路径,并通过多样性鼓励机制防止思维过早收敛,最后以自回归方式输出最终答案。测试显示,该框架在LLaMA 3.1 8B等模型上,于数学推理、代码生成及谜题规划任务中,其准确率和可靠性均优于现有通用方法。
研究团队开发了一套手语伪标注流程,以解决高质量标注数据匮乏对AI手语翻译发展的限制。该流程以手语视频和英文文本为输入,输出包括时间区间在内的可能注释排序集合,涵盖手势词、手指拼写单词和手语分类器。新发布的ASL STEM Wiki和FLEURS-ASL等数据集虽包含数百小时专业译员数据,但因标注成本过高仅实现部分标注。该自举方法旨在显著提升大规模手语数据的利用效率。
研究团队提出了基于标准化流的视频生成模型STARFlow-V,旨在应对视频生成领域长期由扩散模型主导的局面。该模型具备端到端学习、鲁棒的因果预测和原生似然估计等优势,能够直接处理连续数据并建模复杂的时空动态。这一工作标志着标准化流在图像生成取得进展后,首次被系统性地扩展至计算成本更高、时空结构更复杂的视频生成任务中,为生成式模型的设计提供了新的技术路径。
推荐理由:扩散模型几乎垄断视频生成,Apple 这篇用正规化流做视频却是清奇思路,端到端学习和因果预测的优势值得研究员细看。
科学博客上新:我们给Claude出了99个分析真实生物学数据的难题,并将其表现与专家小组进行了比较。 在23个问题上,专家们被难住了。我们最新的模型解决了其中大约30%——以及其余的大部分问题。
Anthropic团队开发了BioMysteryBench生物信息学基准测试,用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现,Claude的生物学科学能力正快速迭代,当前模型表现已与人类专家相当,最新模型甚至解决了部分专家小组未能破解的问题,且有时策略迥异。该基准旨在应对科学评估的固有挑战,如生物学研究中存在多种合理的“正确”方法,以及研究决策的高度主观性。
推荐理由:Anthropic 用 99 道真实生物信息学题测 Claude,发现最新模型在人类解不出的难题上也能答对 30%,而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路,比刷分数字有意思得多。
Can LLMs simply tell us about unwanted behaviors they’ve picked up in training? We train a single Introspection Adapter (IA) that makes fine-tuned models describe their behaviors. It generalizes to detecting hidden misalignment, backdoors and safeguard removal.
LMSYS团队针对SGLang中的强化学习工作负载,提出了一种基于RDMA的点对点权重更新机制,作为传统NCCL广播方法的补充。该设计利用源端CPU引擎副本和Mooncake TransferEngine进行P2P RDMA传输,将拥有1T参数的Kimi-K2模型的权重传输时间从53秒大幅缩短至7.2秒,提速7倍。其代价是每个训练等级需在CPU内存中额外占用一个32G的推理引擎副本。此优化最大限度地减少了网络冗余,允许推理服务器更快恢复rollout过程,且兼容所有主流开源模型。
推荐理由:LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。
英国帝国理工学院、斯坦福大学及互联网档案馆的研究显示,自ChatGPT推出至2025年中,全球互联网约35%的新增内容带有AI生成痕迹,占比从近零快速跃升。研究验证了AI内容存在“语义收缩”和“情绪单一且正面”的现象,其语义相似度比人工内容高33%,正面情绪评分高107%。但其他如事实质量下降等负面影响未获统计支持。目前,生成式AI主要影响了文字多样性和情绪表达,对信息可信度的冲击尚未明确证实。
韩国科学技术院研究团队成功开发出一种基于DNA的生物晶体管,突破了传统硅基半导体2纳米的微型化极限。该技术利用间距仅0.34纳米的DNA分子,通过可逆组装与解组装响应外部信号,实现了分子层面的计算与信息存储双重功能,克服了传统DNA电路一次性使用的缺陷。这项模拟半导体晶体管原理的成果,有望应用于体内分子诊断装置,实时监测疾病信号,为生物计算与医疗技术开辟了新方向。研究已发表于《Science Advances》。
研究提出了一种名为“自适应思考”的新方法,使大型语言模型能够动态决定是否需要执行链式思考推理。该方法利用自我一致性作为判断标准,当模型对简单问题已有高置信度答案时,会跳过显式推理步骤,直接生成最终答案。实验表明,在保持相同性能水平下,该方法在GSM8K和MATH基准测试上分别减少了20.3%和41.7%的推理计算量,实现了更高效的计算最优推理。
研究团队提出DSO方法,旨在缓解视觉语言模型决策中的社会偏见。该方法允许用户在模型部署时,通过单一标量参数直接、实时地控制偏见缓解程度,实现无需重新训练的动态调整。实验表明,DSO能在偏见指标上实现高达90%的改善,同时将性能损失控制在10%以内,有效平衡了偏见缓解与任务性能。这一技术为需要根据具体场景权衡公平性与效用的应用提供了灵活解决方案。
Goodfire Research 提出基于探针的数据归因方法,将模型行为变化和训练数据点表示为激活向量并按余弦相似度匹配。
一项基于互联网档案馆网站的大规模分析显示,AI生成的文本已大量充斥网络。研究发现,AI文本的实际影响与公众预期不同,它正使网络内容变得更加同质化,并呈现出一种异常的欢快基调。Cloudflare的分析指出,Bytespider、Amazonbot和ClaudeBot已成为网络上最活跃的AI爬虫之一,但许多公司会隐藏其AI爬虫活动。
FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好,旨在提升训练效率。该技术通过优化内核融合策略,改进了注意力机制的计算性能,是提升大规模模型训练速度的关键底层优化。
推荐理由:Qwen 团队发了一篇 fused linear attention 内核的工程论文,目标是把 GDN 架构的推理和反向传播都跑快。做底层优化的工程师值得看一眼,普通开发者可以略过。
加州大学圣克鲁兹分校研究团队开发出一款名为Neo的人工智能算法,可有效消除地面望远镜因大气湍流导致的图像畸变。该算法基于条件生成对抗网络,通过训练使地面观测图像的清晰度提升至太空望远镜水准,天体形态参数测量准确度提高2至10倍。目前该技术已应用于智利薇拉・C・鲁宾天文台,该台配备8.4米口径反射镜,造价约8亿美元。此前类似AI算法已将詹姆斯・韦布空间望远镜的数据分析时间从数年缩短至数日,助力多项天文发现。