跳到正文
7月24日周五
  1. Claude:Blog75

    Claude 语音模式现已支持 Opus、Sonnet 及连接工具与多语言

    即日起,Claude 语音模式在 Opus、Sonnet 和 Haiku 上运行,并支持连接 Gmail、Slack 等工具及更多语言。用户可在对话中切换模型,语音模式默认沿用上次文本聊天使用的模型。该功能面向所有用户开放 beta 测试,免费版可使用 Haiku 及一个连接工具,付费版可访问更多模型和全部连接工具。

    推荐理由:Claude 语音模式终于能调用最强模型了,深度思考不再受限于轻量版,加上工具集成和多语言,移动端从随口问答升级为实时脑力伙伴,值得立即上手。

7月23日周四
  1. Black Forest Labs:Blog59

    FLUX 3 发布:Black Forest Labs 多模态模型,支持原生音频、图像生成与动作预测

    Black Forest Labs 发布多模态模型 FLUX 3,面向视频领域,原生支持音频、图像生成与动作预测。该模型旨在成为视觉智能的骨干,目前官方已展示其能力与早期结果。

    推荐理由:Black Forest Labs 把图像、视频、音频拉通到一个模型里,这比单纯提升画质更有想象力,但目前只有一句简介,像个预告片,想真评估的还得等技术细节。

7月22日周三
7月21日周二
  1. Qwen:Blog Retrieval77

    通义千问发布 Qwen-Image-3.0 图像生成模型,核心关键词为“实”

    通义千问发布第三代图像生成基座模型 Qwen-Image-3.0,核心关键词为“实”。该模型支持最长 4.5k token 指令输入,可单次生成包含 9 个复杂信息图的 3×3 网格布局;文本渲染精度达 10px,并支持 12 种语言原生渲染,旨在将图像转化为可部署的生产力工具。

    推荐理由:我觉得 Qwen-Image-3.0 不只是画得好看,而是真正追求“有用”,4.5k token 输入、12 种语言渲染、10px 精细文字,对做设计、内容生产的人是生产力级突破。

  2. Apple Machine Learning Research49

    LVSum 基准:评估多模态大模型的长视频时间感知摘要能力

    Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,与人类摘要仍有显著差距。

  3. LlamaIndex:产品、工程与评测45

    LlamaIndex博客:为何模板OCR的替代方案不是更好的模板而是Agentic OCR

    文章指出传统模板OCR(Zonal OCR)因依赖坐标定位,在文档布局变化时易产生静默错误且维护成本高。作者主张放弃固定模板,采用“Agentic OCR”理念,即像人一样先识别页面组件(如表头、表格、签名),再路由至最适合的模型处理。文中以LlamaParse为例,说明其通过布局感知计算机视觉实现无模板提取,能自动适应新供应商格式、旋转页面及动态行数,并提供置信度信号以支持人工复核。

7月20日周一
  1. 字节 Seed:Research Feed79

    字节跳动发布 Seed Audio 1.0 音频创作模型,统一建模人声与音效实现端到端影视级音频生成

    字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0,在统一框架下联合建模人声、音效和环境声,支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线,多数场景音频可用率达 90% 以上,多语言音频自然度 MOS 超 4 分。

    推荐理由:字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型,它把台词、音效、氛围统一编排,并支持百毫秒级时间线控制,对做视频和出海内容的团队是个立刻能用的创作升级。

7月18日周六
  1. Apple Machine Learning Research50

    Apple 研究:Show Me Examples — 从图像集推断视觉概念

    Apple 机器学习研究团队提出一种方法,让视觉语言模型(VLM)仅从图像集示例中推断视觉概念,无需文本指令。该方法通过对比示例图像与候选图像,使模型捕捉颜色、纹理等视觉规律,在多个概念推理基准上提升准确率。该研究目前为学术论文,未公布模型或 API 可用性。

7月17日周五
  1. Moonshot AI:Kimi Blog70

    Moonshot AI 发布 PerceptionBench:多模态模型视觉感知能力诊断基准

    Moonshot AI 发布 PerceptionBench,一个从 40 多个现有基准中模型实际失败案例归纳出的视觉感知基准,包含 10 项原子感知能力和 3000 道验证题。所有测试模型准确率均未超过 60%,且大量正确答案在重复提问时无法复现,表明模型更多是猜测而非真正感知。PerceptionBench 旨在精确诊断多模态 AI 的视觉感知断裂点,推动其实现忠实、一致的视觉理解。

    推荐理由:这是一个把视觉感知拆成原子能力的基准,所有模型不及格,而且猜测多于感知的发现很扎心,做多模态的团队应该拿来测一下自家模型。

  2. Moonshot AI:Kimi Blog81

    Kimi K3 发布:2.8T 参数开源模型,具备原生视觉与百万 token 上下文窗口

    月之暗面发布 Kimi K3,一个 2.8T 参数的开源模型,采用 Kimi Delta Attention 和 Attention Residuals 架构,支持原生视觉能力与 100 万 token 上下文窗口。

    推荐理由:首个开源 3T 级模型,架构上有 KDA 和 AttnRes 创新,在超长程编码和知识工作上比肩闭源。权重两周后放出,所有做 agent 的都该盯紧。

7月16日周四
  1. Meta Engineering Blog43

    Meta 探索分层兴趣表示以优化广告深度漏斗

    Meta 提出分层兴趣表示,一种基于 Transformer 图学习与自监督跨视图蒸馏的上游表示层,为广告实体学习统一嵌入。该系统在数十亿真实交互数据上端到端训练,输出通用嵌入和 Bag-of-Meaning 兴趣 token,旨在连接稀疏的深度漏斗信号与广告主供给。该技术可集成至 Meta 的生成式广告模型(GEM)、Andromeda 及自适应排序模型。

7月15日周三
  1. Together AI 研究与产品博客76

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 提供 Day 0 推理服务

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 于发布当日在其 Serverless 平台提供访问,支持 1M 上下文窗口和 OpenAI 兼容 API。

    推荐理由:原文来自提供推理服务的合作方,给出了 Inkling 的架构细节、参数规格和初步评测,读者可据此了解新模型的技术取向与可用入口。

  2. vLLM 官方博客74

    vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化

    vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。

    推荐理由:原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比,读者可以评估该模型在自己的推理工作流中的可用性。

  3. Google Developers Blog58

    Google 在 I/O Connect India 展示由 Tensor SoC 和 TPU 驱动的 Pixel 10 端侧 AI 未来

    在 Google I/O Connect India 上,Google 展示了由定制 Tensor SoC 和 TPU 驱动的 Pixel 10 系列所支持的 100% 私有端侧 AI 未来。活动首次推出轻量级 Gemma 4 E2B 模型,该模型原生运行于设备端,可实现完全离线的多模态功能,包括 AI 聊天、实时图像识别和个人智能体任务。开发者即日起可通过新发布的 Tensor SDK beta 及其配套开源资源,开始构建这些安全的边缘应用。

    推荐理由:我觉得这是端侧 AI 从实验到落地的信号,Gemma 4 E2B 的离线能力搭配新 SDK,让完全本地的多模态应用不再是期货,做移动隐私 AI 的开发者该上手试试了。

  4. Google Blog:AI49

    Google Images 25周年:推出可浏览图片主页与AI Overviews图像生成功能

    Google Images迎来25周年,推出两项新功能:一是全新的可浏览图片主页,展示来自网络的动态沉浸式图片画廊,实时更新并根据用户兴趣智能定制,支持收藏夹标签页,未来几周在美国桌面端英文上线;二是将图像生成直接引入AI Overviews,基于最新的Nano Banana模型,将文本提示词转化为高质量定制图像,未来几周在英文区域逐步推出。回顾了2001年上线、2009年相似图片、2011年以图搜图、2018年Google Lens、2022年多模态搜索、2024年Circle to Search、2025年Lens+AI Mode及Search Live、2026年Circle to Search多对象识别等里程碑。

7月10日周五
  1. Tibo51

    3D 鹈鹕由 Keyan 为你呈现 [引用 @keyanzhang]:一只骑三轮车的 3D 鹈鹕,外加一只骑在另一只鹈鹕上的鹈鹕,由 @edbayes 演示 https://percys-garage-3d.openai.chatgpt.site/ 有趣的事实:没有人阅读或编辑过代码,也没有上传任何素材。这完全是通过给出 5.6-sol 高的简单文本指令构建的,例如“设定一个目标,尽可能准确地渲染这个”、“加一辆 G-Wagon”和“能再加一个乘坐项目吗:一只鹈鹕骑在另一只鹈鹕上?”

    引用Keyan Zhang@keyanzhang

    3D pelican riding a tricycle, plus a pelican riding a pelican, demoed by @edbayes https://percys-garage-3d.openai.chatgpt.site/ fun fact: no one read or edited the code, and no assets were uploaded. this was built entirely by giving 5.6-sol high simple text instructions like “set a goal to render this as accurately as you can”, “add a g-wagon”, and “can you add another ride: a pelican riding a pelican?”

  2. Google Research:Blog70

    Google Research 推出 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。

    推荐理由:SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。

  3. Meta AI:Blog78

    Meta 发布 Muse Spark 1.1 多模态推理模型

    Meta Superintelligence Labs 今日推出 Muse Spark 1.1,专为智能体任务设计,在工具使用、计算机使用、编程和多模态理解方面显著提升。模型支持 100 万 token 上下文窗口,提供“Thinking”模式,并通过 Meta Model API 公开预览。在智能体任务中可零样本泛化至新工具、MCP 服务器与自定义技能;计算机使用可自动编写脚本或生成批量操作;编程性能在 Meta Internal Coding Bench 上优于前代。多模态能力涵盖视觉到代码生成、图像视频描述。安全性评估显示模型在化学生物、网络安全、失控等风险类别中处于安全边际内。

  4. Microsoft Research 博客65

    微软发布开源地球系统基础模型 Aurora 1.5,新增 22 个天气变量与集合预报

    微软发布 Aurora 1.5,对开源 Aurora 地球系统基础模型进行重大扩展,新增 22 个天气变量(原 4 个)、支持小时级时间分辨率和概率集合预报,已在 GitHub 开源并放出的 Hugging Face 模型检查点。

    推荐理由:原文来自模型发布方,给出新增变量数、小时级分辨率和与 ECMWF 集合的对比数字,读者可据此评估其在能源等场景的适用性。

  5. Apple Machine Learning Research52

    TGPO:通过可验证奖励强化学习激励第一人称视频时序感知

    多模态大语言模型(MLLM)在第一人称视频理解中缺乏时序感知,常依赖空间捷径。为此,研究者提出 Temporal Global Policy Optimization(TGPO),一种基于可验证奖励的强化学习算法。TGPO 通过对比模型在时序有序与打乱帧上的输出,生成全局归一化奖励信号,明确奖励时序连贯推理。TGPO 可集成 GRPO 和 GSPO,支持冷启动 RL 训练,抑制 MLLM 的空间捷径行为。在五个第一人称视频基准上,TGPO 一致提升时序定位与因果连贯性,优于此前基于 RL 的视频推理方法。

7月9日周四
  1. Meta AI:Research Blog74

    Meta 发布 Muse Spark 1.1 多模态推理模型并开放 Meta Model API 公测

    Meta Superintelligence Labs 发布 Muse Spark 1.1,定位面向智能体任务的多模态推理模型,在工具与计算机使用、编码、多模态理解上较 Muse Spark 有明显提升,支持 1M token 上下文窗口。

    推荐理由:官方博客给出模型在智能体、编码、多模态上的能力细节和百万 token 上下文,并开放 Meta Model API 公测,可对照现有工作流评估。

  2. Anthropic:Research56

    Anthropic 研究:大语言模型控制多种机器人形态

    Anthropic 让多个大语言模型控制多种机器人形态,包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人:从直接驱动电机扭矩,到编写控制器代码,再到用强化学习训练控制器,以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中,模型表现高度依赖控制接口:直接驱动关节时大多失败,但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。

7月8日周三
  1. 字节 Seed:Research Feed68

    字节跳动发布 Seedream 5.0 Pro,强化复杂信息可视化与精准编辑能力

    字节跳动正式发布多模态图像创作模型 Seedream 5.0 Pro。该版本在图文匹配、结构合理性及文字渲染上全面提升,核心突破包括:支持高密度数据与概念的专业排版可视化;基于空间位置理解的交互式精准编辑(如点选、图层分离、多图融合);还原真实光影与人像质感;以及原生支持十余种语言的输入与本地化特征生成。目前已在火山方舟、豆包及即梦上线体验。

    推荐理由:展示了 AI 图像生成从“好看”向“可用”的进阶,特别是其解决复杂信息图表生成和像素级局部编辑的能力,对专业设计工作流有显著价值。

  2. OpenRouter:Announcements65

    在LLM中选择最佳图像输入细节级别

    在5个模型上测试了1730道视觉推理题,发现将图像细节降至"low"会损失准确率,且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力(reasoning effort)。

    推荐理由:OpenRouter 用 1730 道题的实验告诉你,降图像细节未必省钱,GPT-5.5 上反而更贵,真正靠谱的开关是控制推理努力。做视觉应用的不看这个容易踩坑。

7月7日周二
  1. Apple Machine Learning Research40

    MT-EditFlow:基于流匹配的多轮图像编辑强化学习

    针对单轮图像编辑模型在多轮交互中因单轮失败导致序列中断、误差累积的问题,提出 MT-EditFlow 流匹配强化学习框架。该框架整合多轮视角与多奖励公式,统一支持 GRPO 和 NFT 类强化学习方法,并系统分析轮次聚合评分策略、VLM 推理模式(权衡奖励偏差与方差)以及优势融合层级(防止奖励黑客行为)。研究发现将聚合优势广播至整个编辑轨迹能弥合局部规划与全局多轮任务成功之间的差距。实验表明,MT-EditFlow 在多种基模型上显著提升性能,其中 FLUX.1-Kontext-dev 的 turn-3 整体性能提升 6.85 分,超越 Qwen-Image-Edit 等开源模型。

  2. Apple Machine Learning Research48

    LensVLM:压缩文本图像的选择性上下文展开

    LensVLM 是一种推理框架与后训练方法,使视觉语言模型扫描压缩文本图像后,通过学到的工具仅展开相关区域。基于 Qwen3.5-9B-Base,在 7 个文本 QA 基准上,4.3× 有效压缩时准确率与全文本上限相当,在 10.1× 有效压缩时优于检索、文本压缩和视觉压缩基线。该方法还可泛化至多模态文档和代码理解任务。分析表明视觉压缩对渲染选择更鲁棒,随压缩增大模型更依赖展开内容;文本展开适合渲染文本,高分辨率图像展开适合含布局线索的原生文档。

  3. Apple Machine Learning Research51

    通过先进模态条件与交互驯服文本到有声视频生成

    苹果与中国人民大学联合研究聚焦文本到有声视频生成任务,提出Cross-Referential Rewriter(CRR)caption框架。该框架采用双agent管线:Semantic Checker提取有依据的语义锚点,Cross-Modal Rewriter生成解耦的TV和TA caption对,消除模态干扰并弥合密集训练caption与简洁用户提示之间的差距,解决了联合音视频训练中的文本条件瓶颈与跨模态特征融合不清两大关键挑战。

7月3日周五
  1. Apple Machine Learning Research62

    RL微调VLM的鲁棒性与思维链一致性研究

    强化学习(RL)微调被扩展至视觉语言模型(VLM)。研究发现,简单的文本扰动——误导性标题或错误思维链(CoT)——会显著降低模型鲁棒性和置信度,且开源模型衰退更明显。闭源模型呈现类似失败模式,但鲁棒性和推理一致性更强。进一步分析揭示准确性与忠实性的权衡:微调提升基准准确率,但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性;对抗性增强可改善鲁棒性,却无法阻止忠实性漂移。引入忠实性感知奖励能恢复答案与推理的对齐,但与增强结合时训练易崩溃到捷径策略。这些发现强调需联合关注正确性、鲁棒性与视觉推理的忠实性。

    推荐理由:RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

7月2日周四
7月1日周三
  1. Google DeepMind:Blog70

    Google DeepMind 发布 Nano Banana 2 Lite 和 Gemini Omni Flash

    Google DeepMind 推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image),为 Nano Banana 系列速度最快、成本最低的图像模型,文本到图像输出仅需 4 秒,每 1K 分辨率图像成本 $0.034,已上线 Google AI Studio、Gemini API 及消费者产品(AI Mode in Search、Gemini app 等)。同时推出 Gemini Omni Flash(gemini-omni-flash-preview),支持高画质视频生成与对话式编辑,视频输出定价 $0.10/秒,面向开发者开放 API。

    推荐理由:Nano Banana 2 Lite 把图像生成拉到 4 秒延迟和 0.034 美元单价,很适合高频草稿流,Omni Flash 首次对开发者开放视频生成和对话编辑,两个模型串起来的快速迭代工作流是这次最实用的更新。

6月30日周二
  1. Google Research:Blog61

    Google Research 将建筑屋顶反射率数据集扩展至全球 50+ 城市

    Google Research 发布扩展的建筑屋顶反射率数据集,覆盖全球 50 多个城市,旨在帮助城市规划者优先部署冷屋顶方案以缓解极端高温。该数据集融合 Sentinel-2 卫星数据与 30 厘米分辨率的 Airbus Pléiades Neo 卫星图像生成,可通过新的高分辨率 Heat Resilience Earth Engine App 开放获取。相关方法论发表于《Nature Communications》。此前 2024 年的试点已覆盖 14 个城市,其数据曾指导制定冷屋顶条例与适应计划。

    推荐理由:谷歌把屋顶反照率数据的精度做到30厘米,覆盖50+城市,还给了免费App,城市防暑从模糊规划变成可量化的工程,做气候韧性的人可以直接拿这个数据做方案,虽然只是特定领域应用,但AI落地真实场景的路径值得参考。

6月29日周一
  1. Meta AI:Blog70

    Brain2Qwerty v2:Meta 发布无需手术的脑波解码文本新方法

    Meta 发布 Brain2Qwerty v2,一种无需手术植入即可从非侵入性脑记录中实时解码句子的端到端 AI 管线,词准确率达 61%,最佳参与者达 78%,远超其他非侵入方法 8% 的水平。研究基于 9 名志愿者各 10 小时的 MEG 数据训练,Meta 已开源 v1 和 v2 完整训练代码,合作方 BCBL 发布 v1 数据集。

    推荐理由:Meta 的 Brain2Qwerty 展示了不用开颅就能把脑电波转成文字,对渐冻症患者和未来人机交互来说是个重要信号,但离产品化还有距离。