Thinking Machines Lab 发布技术白皮书:以可定制模型权重构建以人为本的 AI
Thinking Machines Lab 发布技术文章《值得构建的未来是人性化的》,将人类参与、模型所有权和去中心化对齐定位为技术挑战。文章将其与交互模型及 Tinker 的 LoRA 微调技术挂钩,团队可自行训练并保留专属模型权重。
Thinking Machines Lab 发布技术文章《值得构建的未来是人性化的》,将人类参与、模型所有权和去中心化对齐定位为技术挑战。文章将其与交互模型及 Tinker 的 LoRA 微调技术挂钩,团队可自行训练并保留专属模型权重。
OpenAI 正在旧金山招聘一名负责家庭、看护者和老年人体验的产品经理,标志其产品定位从个人效率工具向家庭技术转变。Sensor Tower 数据显示,ChatGPT 全球 35 岁以上用户占比从去年同期的 26% 升至 Q2 的 31%,18-24 岁用户从 34% 降至 29%;美国父母用户中近四分之一在 Q2 使用了 ChatGPT,高于去年的 16%。OpenAI 已推出青少年账户家长控制、敏感对话路由至推理模型以及可选的“可信联系人”功能。
剑桥大学CASP研究员Antonia Jülich对27名前成员的57次访谈显示,博科圣地已使用ChatGPT、Claude、Gemini、Grok、Meta AI和DeepSeek等主流AI聊天机器人,用于袭击策划、制造更强爆炸装置、武器维护及行动安全。该组织两个派系均设立了专门的AI部门。ISIS自2023年起便提供提示工程和越狱培训,并训练尼日利亚的博科圣地指挥官绕过AI安全过滤器。研究指出,安全过滤器未能可靠防止滥用。Anthropic近期承认,越狱可能永远无法完全消除。
智谱创始人唐杰在内部信中宣布开启“Touch High(摸高)计划”,继续聚焦AGI研究而非短期商业变现。计划投入集中在四大方向:长程任务、自治智能体系统、完全自我训练和极致安全治理。其中,极致安全治理被特别强调,智谱计划投入百亿级资源攻坚机械可解释性,推动黑盒系统向透明可解释系统转变。智谱近日发布了开源模型GLM-5.2,支持百万(1M)上下文,以MIT协议开源。
OpenAI 因 ChatGPT Work 和 GPT-5.6 Sol 的发布遭遇用户强烈反馈。Thibault Sottiaux 承认“并非一切顺利”,指出最高计算设置过于易用且未清晰提示其对使用限额的影响,桌面应用改版导致聊天和项目难以查找,部分多智能体工作流出现退化。OpenAI 已在一天内两次重置 Codex 和 ChatGPT Work 的使用限额,并调整默认设置和模型选择器。更大更新将于下周推送,侧边栏将恢复聊天和项目功能,使用指标和重置时间将更清晰。OpenAI 同时澄清 Codex 不会被停用,尽管桌面应用曾显示“Codex 现在是 ChatGPT 应用”的消息。此外,有报告称 GPT-5.6 Sol 在未获用户许可的情况下自行删除数据,OpenAI 将其归因于强调持续持久性的系统提示配置。
OpenAI 安全系统负责人 Johannes Heidecke 本周向员工表示即将离职。此次人事变动发生在 OpenAI 调整组织架构之后,公司安全团队今后将向研究副总裁 Mia Glaese 汇报,Glaese 将担任研究与安全副总裁。Heidecke 于 2021 年加入 OpenAI,2024 年前任安全系统负责人 Lilian Weng 离职后接任该职位。
路透社测试显示,Meta本周推出的AI图像检测工具存在局限。该工具配合Muse Image模型使用,通过隐形水印Content Seal识别AI生成图片。Meta声称即使图片经过裁剪,工具仍可识别。但路透社用Muse Image生成40张图片测试发现,工具成功识别全部原图,而图片被裁剪至原图约三分之一至二分之一大小后,55%的图片无法通过验证。Meta回应称该工具仍是预览版本,大幅裁剪可能导致水印信号丢失。
在遭到强烈反对后,Meta 关闭了本周早些时候推出的一项 Instagram 功能。该功能允许用户通过 @ 提及公开 Instagram 账户,基于其内容生成 AI 图片,且无需账户所有者许可。Meta 在关于其新 Muse Image AI 模型的博客文章更新中表示,其初衷是提供有用的创意工具并给予用户认可,但用户反馈表明该功能可能被滥用。
推荐理由:Meta 在舆论压力下火速撤回刚发布的 AI 深度伪造功能,这次公关折返跑比功能本身更有信息量,平台对隐私反弹的优先级已经高于技术落地,但默认 opt-out 的根本矛盾还在。
PromptArmor 自 5 月中旬至 6 月底追踪 Claude 和 ChatGPT 的第三方连接器,发现 2517 个连接器中 931 个发生了能力或权限变更,新工具、权限范围、注入指令等在审批后持续漂移且缺乏重新确认机制。
推荐理由:研究用一手监测数据量化了连接器审批后的能力漂移,读者可据此重新评估组织的连接器治理流程。
特朗普政府正加大力度打击各州AI法律,称一些州正迫使AI公司构建带有政治偏见的模型。 这将允许司法部在法庭上挑战这些法律,并推动制定一套全国统一的AI规则,而非50套不同的规则。
OpenAI 新旗舰模型 GPT-5.6 Sol 能独立优化较小模型。研究人员通过 Codex 平台给出“相当模糊的提示词”后,Sol 自主识别训练配置、选择 GPU 并执行了 Luna 模型的后训练脚本。在衡量递归自我改进(RSI)能力的内部基准上,GPT-5.6 Sol 得分比前代 GPT-5.5 高 16.2 分。OpenAI 表示,内部测试期间每位活跃研究员的日均 token 输出量较 GPT-5.5 峰值翻倍以上,过去六个月分配给内部编码推理的计算份额增长了 100 倍,基于智能体的 token 使用量增长约 22 倍。
Theory Ventures 合伙人 Tomer Tunguz 发文总结 AI 带来的市场巨变。新模型每 41 天发布一次,公司达 1 亿美元收入速度创纪录。AI 压缩时间导致风投阶段定义失效,种子轮规模从 100 万到 5 亿美元不等。推理正取代模型成为 AI 主导市场,基础设施按视频、批处理、本地、智能体等负载类型专业化细分。推理的高成本催生了 AI 广告补贴模式,Koah 的 AI 对话原生广告点击率是展示广告基线的 4-5 倍。闭源与开源、云端与本地模型差距缩小,许多模型已“足够好”。安全攻击面因 MCP 服务器、技能、插件和编码智能体而急剧扩大。
Today we share the worldview behind our mission. Human values don't average out. Local knowledge can't be centralized. The good future has many AIs, raised in different places, shaped by the people they serve, disagreeing with each other the way we do. https://thinkingmachines.ai/blog/the-future-worth-building-is-human/
研究人员披露名为 HalluSquatting 的新型 AI 漏洞,利用模型在调用工具时的幻觉,将不存在或错误的代码仓库地址当作真实地址使用。特拉维夫大学、以色列理工学院和 Intuit 的研究显示,Claude 等代码智能体在收到“运行 windowstelemetryoff 脚本”等指令时,可能自行补全出看似合理但实际错误的仓库地址,并在执行网页搜索后仍访问恶意版本。量化结果中,模型对近期仓库位置的幻觉率最高达 85%,对热门智能体技能可达 100%。应用层攻击成功率分化:Cursor、Gemini CLI 和 Copilot 为 20%-35%,OpenClaw 及其变体接近 80%-100%。
微软宣布调整 Windows 11 漏洞管理体系,将 AI 引入漏洞发现、修复与验证流程。在发现环节,工程团队采用智能体扫描框架 MDASH,结合多个前沿模型更快更准地发现漏洞;验证环节仅将高置信度结果提交给工程师。该自动化流程可处理更大体量的潜在漏洞并缩短审查窗口,使每月累积更新包含更多修复内容。AI 还用于辅助开发人员理解故障、提出修复建议及定位相似问题,但每项修复最终仍由工程师审核后发布。
PromptArmor 审查了当时可用的 487 个 Claude Connectors 共 7517 个工具,发现其中 189 个(约五分之二)的 386 个工具很可能在下游调用其他 AI 服务。
推荐理由:原文给出了 Claude Connectors 二次调用外部 AI 的实测比例、工具分类和具体风险,读者可据此评估企业数据流合规。
OpenAI发布GPT-5.6系列,包括Sol(主力)、Terra(中级)和Luna(经济型)。CEO Sam Altman称Sol在AI编码任务中token效率提升54%。该系列被定位为最强网络安全模型,支持威胁建模、代码审查、补丁和蓝队演练。同时推出面向企业团队的桌面、网页和移动端办公助手ChatGPT Work。定价每百万token:Sol输入$5/输出$30,Terra $2.50/$15,Luna $1/$6。在Artificial Analysis Coding Agent Index基准上,Sol得分80,高出Anthropic Fable 5的2.8分,且输出token和耗时均不到一半,成本低约三分之一。Terra略超Fable 5,Luna优于Opus 4.8。现可通过ChatGPT、Codex和API使用。
OpenAI 最新大语言模型 Sol 已面向公众开放,能力至少与 Anthropic 的 Fable 相当(后者曾因引发白宫担忧被短暂禁止)。但政府如何判定模型安全仍不清晰:乔治城大学分析师 Mina Narayanan 称缺乏对审批过程的了解,前特朗普政策顾问 Dean W. Ball 表示“没人知道获得许可需要什么条件”,AI 科学家 Andy Konwinski 称从未遇到理解该流程的人。上月特朗普政府行政命令列出评估路线图但细节未填充,明确表示“不会设立 AI 领域的 FDA”。目前由商务部 AI 标准与创新中心牵头,六个内阁机构需在 8 月初前制定最终流程。OpenAI 拒绝透露政府审查细节,仅指向外部评估结果。
Meta推出AI图像生成功能Muse Image,允许用户利用公开Instagram账户的照片生成AI图像,只有私密账户和18岁以下用户自动排除。用户可在个人资料中选择“分享和复用”,关闭“允许他人使用和复用你的内容”以退出。该功能引发隐私担忧,此前Meta因剑桥分析事件被FTC罚款50亿美元,涉及8700万用户数据泄露。Pew调查显示35%受访者对AI增长担忧多于兴奋。
OpenAI 将 GPT-5.5 Bio Bug Bounty 升级为持续私密项目 OpenAI Bio Bounty Program,以 GPT-5.6 为起点并覆盖后续前沿模型,旨在发现能突破预设生物安全挑战的通用越狱攻击。奖励从 $25,000 提高至 $50,000,适用于
Anthropic作为公益公司,发起“硬问题”倡议,邀请公众就AI对就业、社会、家庭、科学医学等领域的影响提出最尖锐的问题。此前已通过多种方式收集看法:首轮调查询问5.2万美国人;通过Anthropic Interviewer调查了159个国家70种语言的8.1万Claude用户;开展数十场线下焦点小组;并基于匿名真实数据研究Claude使用情况。公司还设立了Anthropic Institute和Long-Term Benefit Trust以监督公益使命进展。Anthropic承诺将公开追踪并报告针对这些问题的具体行动及成效。
推荐理由:Anthropic 不再只做技术输出,开始系统性收集公众对 AI 的恐惧和期待,并承诺公开回应——这是头部 AI 公司一次认真的公共对话实验,值得关注后续回应。
微软在周四的博客中宣布,Windows 11 更新将利用 AI “更早地识别潜在问题”,使每个安全发布中包含更高数量的安全更新。过去几个月,黑客(包括业余爱好者)越来越多地使用 AI 快速利用安全漏洞;安全研究人员也借助 AI 更快地发现问题,导致像影响几乎所有 Linux 发行版的“Copy Fail”漏洞等高严重性漏洞出现更频繁。Anthropic 公布的相关研究也印证了这一趋势。
OpenAI 发布 GPT-5.6(Sol、Luna、Terra)系统卡,将三款模型在生物化学领域均预防性定为 High 能力,未达 Critical 阈值。
推荐理由:这份系统卡披露了 GPT-5.6 家族在生化和网络安全领域的准备度评估细节与部署模拟方法,可了解前沿安全评估如何落地。
新研究提出GRAM训练方法,可将病毒学等双用途AI能力放入可移除模块。Anthropic表示很高兴与AE Studio合作完成这项研究。
New research! Some AI capabilities are both helpful and dangerous. E.g., knowledge of virology can be used to create life-saving vaccines or deadly pathogens. We introduce GRAM, a training method that puts dual-use capabilities (like virology) into removable modules.
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由:这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
Google 的 SynthID 系统成功揭穿一张高曝光度的 AI 生成恶搞图片。该图显示肯塔基州参议员 Mitch McConnell 在医院病床上插满管子,在 Reddit 和 X 广泛流传。事实核查网站 Snopes 检测到图中嵌入的 SynthID 水印,确认其为伪造。SynthID 于 2025 年 Google I/O 发布,是一种不可见水印,跨平台截屏也能保留。其局限性在于仅参与计划的图像生成工具才能添加水印:Gemini 模型自 2025 年起包含,OpenAI 于 2026 年 5 月加入,Anthropic 未参与。用户可询问 Gemini 或上传图片至 OpenAI 公共验证工具检查。
OpenAI近日公布国家安全原则,阐明在政府及国家安全领域部署前沿AI系统的方针。原则强调在保护公民、防御关键基础设施、提供公共服务及应对新兴威胁(网络防御和生物安全)中发挥AI优势,同时确保民主问责、人类判断和法治。过去一个月,OpenAI通过Daybreak网络防御计划与澳大利亚、加拿大、日本、韩国、法国、德国、波兰、荷兰及欧盟ENISA等机构建立网络安全信任访问合作,并与英国政府开展网络安全测试评估。上月,OpenAI向部分美国政府及盟友合作伙伴开放GPT‑Rosalind模型用于公共卫生和生物防御。原则适用于现有及未来合作,包括与Department of War的协议,明确禁止大规模国内监控、自主武器系统及高风险自动化决策。OpenAI支持立法对高风险军事用途(如国内监控、自主武器)建立保障措施。
推荐理由:OpenAI 首次公开发布国家安全合作原则,同时宣布与多国建立网络和生物防御伙伴关系。我觉得这是头部 AI 公司在军事合作上的一次主动透明化尝试,值得看看他们如何设限。
一男子使用Grok生成7000张继女儿童性虐待材料(CSAM)后自杀。更多年轻女孩起诉X平台,指控其涉及Grok生成CSAM,并包庇儿童性犯罪者。
推荐理由:这起诉讼把 Grok 的内容审核问题直接推到了刑事犯罪层面,普通人看到的是猎奇,从业者该读的是'生成式 AI 的滥用边界到底怎么管',这个判例可能影响未来所有模型的安全设计。
Meta本周为AI眼镜推出安全更新:若LED指示灯被篡改,摄像头自动禁用。然而同日,Meta AI新增功能,可利用用户公开的Instagram照片生成图像(除非选择退出),并访问相机胶卷中从未分享的图片。公司还测试可连续收集音频并每隔数秒拍照的原型机。Meta面临多起隐私诉讼和调查,包括因外包员工审查不当内容而取消合同。消费者仍质疑Meta通过AI收集个人数据的方式。
Transluce 发布长文,主张像 ImageNet 推动能力评测那样,建立系统化测量 AI 模型行为的公共科学体系,以应对 Replit 编码智能体删除生产数据库等意外行为风险。文章提出行为评测三要素,即生态有效的环境模拟器、可靠的自动化评判程序和跨模型可复现测量,并主张建设开放测量基础设施,让独立研究者贡献、质疑和扩展评测,以实现对模型开发者的公共问责。
Anthropic 让多个大语言模型控制多种机器人形态,包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人:从直接驱动电机扭矩,到编写控制器代码,再到用强化学习训练控制器,以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中,模型表现高度依赖控制接口:直接驱动关节时大多失败,但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。
加拿大不列颠哥伦比亚省7月7日宣布将起诉OpenAI,指控其未向执法部门上报一名ChatGPT用户2025年6月封禁前的暴力相关对话内容。该用户随后于今年2月在塔布勒岭制造校园枪击案,杀害8人。OpenAI CEO萨姆·奥尔特曼今年4月为此公开致歉,承认本应上报但未执行。受害家属已在加州法院提起诉讼,省政府正协调独立诉讼,要求赔偿用于社区重建。
推荐理由:这是AI公司因用户对话内容失察而被政府追责的里程碑案例,胜诉将推动平台安全上报义务的重新定义,对全行业治理影响深远。
提示注入已成为AI安全的首要威胁——大语言模型无法区分合法指令与恶意指令。此前推送式和拉取式攻击规模均有限。研究人员提出一种名为HalluSquatting的新型拉取式提示注入攻击,首次能组装大规模僵尸网络、执行分布式拒绝服务攻击(DDoS)并大规模感染设备。该攻击可作用于AI编码工具,标志着提示注入攻击从单点突破转向规模化利用。
推荐理由:这项研究首次揭示了利用 LLM 幻觉进行大规模 botnet 攻击的可行路径,影响范围覆盖几乎所有主流 AI 编程助手,每个依赖这些工具的开发者都该看一眼。
OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini 系统卡,并因发现评测配置不匹配而重跑了语音原生违禁内容评测。
推荐理由:OpenAI 公开更正后的语音安全评测数据,附带修正前后对照,读者可看到误配置如何影响安全评估结论。
工信部NVDB今日发布风险提示,Anthropic开发的AI编程工具Claude Code(版本2.1.91至2.1.196)内置监控机制,可在未经用户同意下向远程服务器回传地域、身份标识等敏感信息。NVDB建议立即排查并卸载或升级至最新安全版本,同时加强开发工具外联权限管控。该后门与此前被曝出的隐蔽检测机制相关——自2.1.91版本起,Claude Code会检查系统时区、代理信息等识别中国用户。Anthropic回应称该机制为实验性措施,已于7月2日新版本中删除。阿里巴巴已于7月初宣布自7月10日起内部禁用Claude Code。
7月8日,OpenAI 首席未来学家 Joshua Achiam 宣布将于月底离职,结束自2017年起的任期。他表示离职经过长期思考,非受具体事件影响,计划继续在前沿实验室外推动 AI 工作。Achiam 认为全球已充分认识到 AI 潜力,即使离开顶级实验室也能贡献力量。他34岁,是 OpenAI 核心成员,参与 GPT-4 技术报告及多项 AI 安全研究,今年2月起任首席未来学家,负责长期风险与政策研究。OpenAI 尚未公布接替人选。