跳到正文
5月14日周四
  1. CMU:Machine Learning Blog63

    教视觉-语言模型说“电影语言”

    研究团队与百余名专业创作者历时一年,构建了一个视频描述生成流程,其核心在于扩展精细化的人类-AI协同监督,而非单纯扩大模型规模。该研究(入选CVPR 2026亮点论文)指出,当前主流视频生成模型在理解和生成具有电影感的专业运镜(如希区柯克式滑动变焦、精确的焦点转移或荷兰角镜头)时存在明显不足,常产出通用或焦点错误的画面。这项工作揭示了一条通过提升监督质量来增强模型“电影语言”表达能力的新路径。

    推荐理由:这篇CVPR 2026 Highlight的博客版很有意思,它用100多个专业电影人来标注视频,教VLM学会推拉摇移的镜头语言,不是又多一个数据集,而是提醒我们:高质量的人工标注可能比堆模型更重要。

  2. IT之家·人工智能67

    雷军谈小米自动驾驶模型 Xiaomi OneVL:业内率先通过潜空间推理将 VLA、世界模型统一到一套框架

    小米技术正式发布并开源一步式潜空间语言视觉推理框架Xiaomi OneVL。该框架在业内率先通过潜空间推理,将视觉语言动作模型与世界模型统一到同一套框架中。在推理、规划等多个主流基准上,该模型全面刷新了潜在推理方法的性能上限,在精度上超越显式思维链方案,在速度上对齐“仅答案”预测的潜空间思维链方案。小米已全面开源其模型权重及训练、推理代码。

  3. Together AI 研究与产品博客65

    Together AI 开源视频翻译工具 Violin,集成 Whisper、DeepSeek V4 Pro 与 Sonic 3

    Together AI 发布全开源视频翻译工具 Violin,代码以 MIT 许可证开放在 github.com/shang-zhu/violin。流程分三步,用 Together 的 Whisper V3 做多语言转写,DeepSeek V4 Pro 做翻译,Together 托管的 Cartesia Sonic 3 合成多种母语语音,且不支持声音克隆。

    推荐理由:原文完整给出了 ASR、LLM 翻译、TTS 三段流水线所用模型和 MIT 开源仓库入口,读者可以照着部署或改造成自己的翻译流程。

  4. Runway:News76

    Introducing Runway Agent

    Runway正式发布Runway Agent,这是一个能够通过单次对话将创意想法转化为完整、可发布视频的智能创作伙伴。用户只需用自然语言描述需求,Agent便能根据上下文和目标,自主完成概念提案、故事节奏设计、视觉方向规划,并最终生成包含多场景、旁白、对话和音乐的成片。它旨在为品牌团队、营销人员、创意机构和电影制作人快速生产各类视频内容,如品牌宣传、社交媒体素材和短片,将传统需要数天或数周的审核制作周期压缩至几分钟。该产品现已上线,新免费计划用户可获得1500积分用于制作首个视频。

    推荐理由:Runway Agent 把视频生产从“一个团队干一周”变成“一个人聊十分钟”,品牌和内容团队的视频成本结构可能就此改写。

5月13日周三
  1. IT之家·人工智能50

    谷歌 Gboard 输入法新增 Gemini 驱动听写功能,可识别一句话中的多种语言

    谷歌在Android活动中为Gboard输入法推出由Gemini驱动的AI语音听写功能Rambler。它能自动删除“呃”“啊”等填充词,并理解即时修正。其核心亮点是支持“代码切换”,可在同一句话中无缝识别多种语言且保持上下文连贯。谷歌强调,该功能不存储语音录音,结合设备端与云端处理以保障隐私。Rambler初期将于夏季在三星Galaxy和谷歌Pixel手机上推出,未来将扩展至更多Android设备。

  2. IT之家·人工智能61

    大版本来袭:第一代小米 SU7 汽车 OTA 1.16 开推,新增语音控车、疲劳分心下应急停车辅助功能等

    小米汽车开始向第一代SU7推送OTA 1.16大版本更新,旨在对齐新款车型的功能体验。本次更新重点升级了辅助驾驶与智能座舱:辅助驾驶新增语音控车、收费站通行辅助、侧向避让辅助及针对异形障碍物的前向防碰撞辅助等功能;特别增加了疲劳分心下的应急停车辅助,触发后将自动减速停车并禁用辅助驾驶30分钟。智能座舱方面,超级小爱新增“小爱陪伴”和“AI智控”功能。此外,还引入了车主管理模式。多数新功能仅支持SU7 Pro和Max车型。

  3. IT之家·人工智能69

    小米开源 Xiaomi OneVL 自动驾驶模型,业内率先实现 VLA、世界模型等多技术路线统一

    小米开源了Xiaomi OneVL一步式潜空间语言视觉推理框架。该模型在业内首次将VLA(视觉语言动作模型)与世界模型这两条技术路线统一于同一框架,通过潜空间推理同时提升推理速度与精度,在多项基准测试中达到先进水平。此外,它还能为决策提供语言和视觉双维度的可解释性。小米已全面开源其模型权重、训练及推理代码。

  4. IT之家·人工智能41

    搭载 Android XR 系统,消息称三星 Galaxy 智能眼镜将于 7 月发布

    据韩媒报道,三星或将于2026年7月22日在伦敦的Galaxy Unpacked发布会上推出其首款智能眼镜。该产品旨在对标Meta Ray-Ban,研发已超一年,将推出两个版本:一款配备类似XREAL的内置显示屏,另一款则无AR显示屏。两者均采用墨镜式设计,集成摄像头、扬声器和麦克风,并有望成为首款出厂预装Android XR系统的智能眼镜。更多细节与售价预计在临近发布时公布。

  5. IT之家·人工智能61

    谷歌安卓桌面版重构鼠标光标交互,让 AI 听懂“这个 / 那个”比划

    谷歌DeepMind发布了名为Magic Pointer的AI光标交互功能,旨在重构桌面端安卓系统的鼠标使用体验。其核心理念是让AI无缝融入用户当前工作流,通过识别光标位置和语音指令理解上下文,无需复制内容或输入完整提示词。该功能遵循四项原则:保持工作连续性、支持“边指边说”交互、理解“这个/那个”等自然指代、将屏幕像素转化为可操作实体。目前,谷歌已在AI Studio上线演示,并正将相关能力逐步集成至Chrome浏览器的Gemini中。

  6. IT之家·人工智能60

    面壁智能 MiniCPM-V 4.6 发布开源:1.3B 参数仅需 6G 内存即可流畅运行

    面壁智能联合清华大学及 OpenBMB 开源社区发布新一代端侧多模态大模型 MiniCPM-V 4.6。该模型参数为 1.3B,仅需约 6GB 内存即可在端侧设备运行。其在通用图文理解、STEM 推理等任务上超越同尺寸模型,Artificial Analysis 评测得 13 分。效率方面,Token 吞吐量为竞品的 1.5 倍,计算消耗仅为其 2.5%。模型采用 LLaVA-UHD v4 架构,图像编码计算量降低 55.8%,并支持高分辨率图像快速处理。目前已全面开源,提供完整工具链,适配主流微调与推理框架。

  7. IT之家·人工智能60

    88.45% 登顶 CyberGym:微软纳德拉官宣 MDASH 框架,协调 100+ 模型 AI 抓虫 Win11

    微软CEO纳德拉宣布,其AI安全框架MDASH在5月补丁星期二中,协助发现了Windows 11系统120个已修复漏洞中的16个。MDASH是一个协调超过100个专用智能体的多模型扫描框架,采用对抗式流程以减少误报。该系统在私有驱动测试中实现零误报;在历史漏洞回溯中对特定组件召回率高达96%和100%;并在CyberGym公共基准测试中以88.45%的成绩领先。发现的漏洞涵盖多个关键组件,其中10个为内核态漏洞,包括严重的远程未授权释放后使用等问题。

  8. IT之家·人工智能55

    全球合作中头部车企 20+:联发科天玑汽车平台产品出货量突破 3500 万,过去 5 年成长超 385%

    联发科技在2026天玑开发者大会上宣布,天玑汽车平台出货量已突破3500万,过去五年增长超过385%。该平台与全球超过20家头部车企合作,进行中的定点项目超190个。AI定义汽车时代已来临,天玑AIDV智能体座舱支持全模态交互、主动式服务、并发任务执行和端云协同,赋能智能汽车体验创新。

  9. Demis Hassabis81

    团队正在用AI重新构想鼠标指针,成果非常酷!在@GoogleAIStudio尝试原型版本,体验相当神奇。 [引用 @GoogleDeepMind]:我们正用AI重新构想这个存在50年的界面——鼠标指针。🖱️ 这些实验演示展示了人们如何通过动作、语音和自然简写,在屏幕上直观操控Gemini完成任务🧵

    引用Google DeepMind@GoogleDeepMind

    我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写,在屏幕上直观地指挥 Gemini 完成任务 🧵

    推荐理由:用了50年的鼠标指针第一次被AI改造,这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini,产品经理和设计师都该去玩一下。

5月12日周二
  1. The Decoder:AI News66

    Thinking Machines Lab发布首款模型,主张交互性才是OpenAI语音技术的误区

    由Mira Murati创立的Thinking Machines Lab发布了其首个人工智能模型,旨在突破传统语音AI的问答模式。该模型以200毫秒为数据块,并行处理音频、视频和文本信息,专注于提升实时交互的流畅性与自然度。公司宣称,这一设计在交互质量上超越了OpenAI的GPT Realtime 2和Google的Gemini Live,致力于推动语音助手向更自然、非问答式的对话体验演进,从而重新定义人机交互方式。

  2. Kling AI63

    用户利用GPT image 2与Kling AI,根据详细提示词生成了一张模拟电视转播视角的超写实F1赛事直播截图。画面聚焦于一位在VIP围场/车队车库中的年轻女性,其身份特征从参考图像中被精确保留。她佩戴专业赛车耳机,神情紧张专注,画面包含“FINAL LAP”横幅、计时塔、直播标识等完整的转播图形元素。作品特别注重广播级细节,如压缩伪影、自然肤质和8K画质,旨在完美呈现如同真实电视截图的视觉效果。

    引用Ciri@Ciri_ai

    Made with GPT image 2 + Kling AI Prompt: Ultra-realistic F1 live TV broadcast screenshot, identity preserved exactly from reference image. Young woman sitting in the VIP paddock / team garage during a Formula 1 race, shown on the official live race broadcast as the girlfriend of an F1 driver. It is the final lap, and she is listening to the team radio through a professional racing headset, watching the garage monitors nervously, leaning forward with one hand near her mouth, proud tense expression. She wears a fitted white tank top, oversized racing team jacket draped over her shoulders, large black team-radio headset with boom mic, gold jewelry, soft glam makeup. A slim paddock pass hangs naturally from her neck. Add realistic F1 broadcast graphics: “FINAL LAP” banner, lap counter showing final lap, driver timing tower on the left, small F1-style logo bug, “LIVE” indicator, lower-third identifying her as driver partner / paddock guest. No fake oversized badge, no selfie angle. Team staff, headsets, garage screens, mechanics, and race equipment blurred around her. Telephoto broadcast camera from across the garage, compression artifacts, digital noise, bright paddock lighting, natural skin texture, no smoothing, 8k quality

  3. IT之家·人工智能53

    京东 AI 试穿功能上线

    京东平台正式上线AI试穿功能。用户上传个人照片后,可在数秒内生成高清试穿效果图,实现一键切换同款不同色服饰进行对比,并可根据系统推荐搭配上下装。该功能基于京东自研算法,能分析消费者身材维度,使服装在试穿中自然垂坠贴合,并对棉质、丝绸、牛仔等多种材质进行高精度渲染,模拟真实质感。目前该功能已接入商品详情主图、“逛”和“AI购”等频道,初期支持男女装及运动服饰,商家仅需配置白底图等素材即可使用。

  4. SenseTime62

    SenseNova U1是一款高效统一语言与视觉的单模型,具备语义理解、像素级生成和复杂信息图创作能力。该模型被描述为能够阅读文本、生成图像、编辑照片及处理图文交错任务的“任意到任意”Transformer,如同集成了创意工作室功能,重新定义了多模态AI。开发者社区对其反响热烈。

    引用Hugging Models@HuggingModels

    Imagine a single AI that can read text, generate images, edit photos, and even handle interleaved text+image tasks. SenseNova-U1-8B-MoT is that model: an any-to-any transformer that redefines multimodal AI. It's like having a creative studio in one model.

  5. SiliconFlow74

    信息的结构与呈现方式本身正成为AI智能层的关键。当前,让大语言模型以HTML格式输出,能提供比默认Markdown更丰富的视觉布局与交互性,是值得尝试的技巧。长远来看,人类虽偏好用音频输入,但视觉(图像/动画/视频)才是更理想的AI输出形式,因为大脑约三分之一皮层专司视觉处理。AI输出形态将沿“原始文本→Markdown→HTML→交互式神经视频/模拟”的路径演进,最终可能由扩散神经网络直接生成交互视频。同时,输入方式也需融合音频、文本、视频及手势等多模态交互。在人机输入输出深度融合方面,仍有巨大发展空间。

    引用Andrej Karpathy@karpathy

    顺便说一句,这真的非常有效:在你的查询末尾让你的 LLM“将你的回答结构化为 HTML”,然后在浏览器中查看生成的文件。我也曾成功让 LLM 把输出呈现为幻灯片等形式。 更一般地说,在我看来,音频是人类偏好的 AI 输入,而视觉(图像/动画/视频)则是他们偏好的输出。我们大脑中大约三分之一是一个专用于视觉的大规模并行处理器,它是信息进入大脑的十车道超级高速公路。随着 AI 的进步,我认为我们会看到一个利用这一点的演进过程: 1) 原始文本(阅读起来困难/费力) 2) markdown(粗体、斜体、标题、表格,稍微更护眼一些)<-- 当前默认 3) HTML(仍然带有底层代码的过程式形式,但在图形、布局甚至交互性上灵活得多)<-- 尚处早期,但正在形成新的良好默认 ...4,5,6,... n) 交互式神经视频/模拟 在我看来,这种外推(尽管相关技术目前还不存在)最终会走向某种由扩散神经网络直接生成的交互式视频。关于如何将精确/过程式的“软件 1.0”产物(例如交互式模拟)与神经产物(扩散网格)编织在一起,还有许多未解问题,但总体方向类似于最近爆火的 https://x.com/zan2434/status/2046982383430496444 在输入端也有必要的、尚待完成的改进。音频、文本或视频单独都不够,例如,我觉得需要指向和比划屏幕上的东西,就像你与一个实际坐在你身旁、和你共用电脑屏幕的人会做的所有事情一样。 TLDR 人类与 AI 之间的输入/输出心智融合正在进行中,还有很多工作要做,也有重大进展有待取得,远在我们一路跳到类似 neuralink 的脑机接口之类的东西之前。就当前阶段值得探索的东西而言,小贴士:试试要求 HTML。

    推荐理由:Karpathy 给的路线图从文本到 HTML 再到神经视频,其中第一步的‘让 LLM 输出 HTML’你今晚就能用上。未来交互形态的思考,值得产品经理细读。

  6. IT之家·人工智能62

    苹果连发 3 项 AI 研究,推进空间计算与 Vision Pro 头显方向

    苹果近期发布三项人工智能研究,直接回应了其搁置Vision Pro研发的传闻。研究包括:提出SFI-Bench基准,通过134段视频和1555道问题测试多模态大模型的空间功能智能;利用AI自动生成美国手语标注,将人工成本降低数百小时;以及提出HeadsUp方法,基于超万人数据集进行高质量3D头部重建,可能用于优化Vision Pro的Persona等功能。这些进展印证了苹果对空间计算方向的持续投入。

  7. Apple Machine Learning Research51

    BalCapRL: 基于强化学习的MLLM图像描述平衡框架

    研究团队针对多模态大语言模型图像描述任务提出BalCapRL平衡框架。该框架通过设计多维度奖励函数,系统解决了现有强化学习方法在追求描述效用时引发的幻觉、噪声和冗长等问题。实验表明,BalCapRL在保持描述准确性的同时,显著提升了信息密度与可读性,在多个基准测试中实现了更均衡的性能表现,有效突破了传统方法在核心维度间的权衡局限。

  8. Lilian Weng68

    团队通过数月高强度工作,完成了12个主要版本及137页的训练运行日志。这一过程揭示,有效的人与人协作是提升人-AI协作质量的关键。受此启发,团队借鉴人类实时交谈、倾听、观察、思考与协作的并行模式,设计了一种能以此方式与人协同工作的新型AI。相关博客文章分享了该方法、早期成果及模型的实际运行演示。

    引用Thinking Machines@thinkymachines

    People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with people the same way. We share our approach, early results, and a quick look at our model in action. https://thinkingmachines.ai/blog/interaction-models

5月11日周一
  1. IT之家·人工智能64

    阿里发布全新 AI 店小蜜,“AI+ 人”转化率首次超越纯人工

    阿里发布基于千问大模型构建的全新AI店小蜜,这是电商行业首个具备售前售后全链路服务能力的客服agent。接入后,商家平均转人工率下降45%,“AI+人”协同转化效果首次超越纯人工客服超10%。其日均对话量近千万,服务商家超百万。核心升级包括:AI能回答超80%问题并主动导购,提升平均询单转化率至10%;覆盖超30个场景,回复速度提升50%,准确率超90%;可自动处理复杂售后流程,平均退款挽单成功率超20%。

  2. Thinking Machines Lab:官方博客59

    Thinking Machines Lab发布Interaction Models研究预览

    Thinking Machines Lab发布interaction models研究预览。该模型从零训练,原生处理音频、视频和文本,采用多流微回合设计实现实时响应,无需外部脚手架。研究预览展示了全新的交互能力,并在智能性与响应性上取得综合SOTA表现。

    推荐理由:Thinking Machines 把实时交互训进了模型本身,不再是外挂脚手架,微轮次架构和 benchmark 数据很硬,做语音/视频助手的可以认真看看,虽然还是研究预览,但方向值得盯着。

5月10日周日
  1. IT之家·人工智能64

    央视调查:AI“买家秀”误导消费者,未标注 AI 生成

    央视调查发现,部分电商平台评论区出现未标注的AI生成“买家秀”图片。这些图片效果精美,但与实物相差甚远,误导消费者判断商品质量。商家利用AI工具快速生成模特穿搭图,用于商品详情页和评论区,而平台审核机制不完善,未能有效识别和标注此类AI生成内容。此举涉嫌违反《电子商务法》和《消费者权益保护法》中关于真实披露信息、禁止虚假宣传的规定,侵犯了消费者的知情权和选择权。

  2. IT之家·人工智能55

    IT早报 0510:SK海力士回应人均高额奖金传闻;多家车企辟谣锁电约谈;DeepSeek开放识图功能

    SK海力士回应“员工人均奖金610万元”传闻,称今明年度业绩未定,奖金规模无法预测。中国汽车工业协会辟谣“8家新能源车企因锁电被约谈”为不实信息。DeepSeek大范围开放“识图模式”,具备文物识别、逻辑题解答、截图转代码等多模态能力。此外,iPhone 18 Pro系列被曝灵动岛将缩小25%;张汝京指出全球超80%半导体需求来自成熟制程;比亚迪腾势N9闪充版等新车公布预售及发布信息。

5月9日周六
  1. Elon Musk71

    Tesla通过分析真实车队碰撞数据,结合视觉系统与传感器,实现了安全系统的突破。传统碰撞传感器需要时间确认,降低阈值可能导致误触发。而视觉系统能提前“看到”即将发生的碰撞,与传感器协同,使约束控制器能更早、更准确地启动安全气囊和安全带预紧器。通过仿真重放碰撞并测量人体模型受力,团队发现提前部署能优化保护时机。这一改进使预测伤害严重程度整体显著下移,并通过OTA更新实现,是前所未有的安全提升。

    引用Wes@wmorrill3

    这些点中的每一个都是车队中真实发生的碰撞。真实世界的速度、碰撞和人员。而不仅仅是法规测试用例。 正是这些数据的丰富性才促成了这一结果。通过仿真,我们可以回放碰撞,并测量人体模型上所受的力。 然后遍历约束装置的展开时间,发现更早展开能为气囊提供最佳充气时间,并在乘员移出位置之前完成安全带预紧。 但碰撞加速度计需要时间才能确定。降低这一时间阈值会带来误触发的风险。 使用视觉让车辆有信心缩短这一时间。摄像头看到即将发生的碰撞,并与传感器一起告诉约束控制器降低滤波并更早采取行动。 预测伤害严重程度中的 Y 轴偏移,是基于以更快的检测阈值重新运行碰撞仿真后,人体模型中的传感器得出的。 如此全面地降低伤害严重程度是闻所未闻的,更不用说通过空中升级来实现这一点了。 我为分析团队的工作和奉献感到无比自豪。他们超越职责,提出“我们拥有道路上最安全的汽车,但能否让它更安全?”然后与视觉团队合作,构建实现这一目标所需的预测。经过仿真和物理碰撞测试的严格验证。如今已部署并改善着人们的生活。 我循环观看这段视频,想象着每一个点,一个人。

    推荐理由:below_threshold:T2 推文门槛 75,当前 finalScore=71

  2. Greg Brockman66

    开发者利用GPT-Realtime-2模型,在Chrome浏览器扩展中实现了实时AI音频翻译功能。该功能适用于YouTube视频、直播、会议和演示等所有浏览器内音频场景,能实时显示翻译后的语音。用户可在音视频播放或会议进行的同时,基于实时上下文调用AI进行摘要提取、要点归纳、笔记整理和内容解释等交互操作。这标志着浏览器正演变为实时AI操作系统,推动互联网语言壁垒趋于消失。

    引用CHOI@arrakis_ai

    I just added real-time AI translation into Chormex using GPT-Realtime-2… and this feels absolutely surreal. It works across YouTube videos, live streams, meetings, presentations, basically anywhere audio is playing inside Chrome. You can watch translated speech in real time while simultaneously using Codex on top of the live context. “Summarize this.” “What are the key points?” “Turn this into notes.” “Explain what they mean.” “Organize the discussion.” …all while the video or meeting is still happening. It genuinely feels like browsers are evolving into real-time AI operating systems. We are getting dangerously close to a world where language barriers on the internet completely disappear.

  3. IT之家·人工智能53

    光帆科技推出“行业首款带摄像头 AI 耳机”,5 月 15 日发售

    光帆科技宣布将于5月15日发售“光帆全感AI耳机”,该产品被称作行业首款带摄像头的AI耳机。耳机主打“全感知、主动式、个性化”,能通过环境感知主动提供提醒与服务,用户还可为AI选择不同人设,使其成为具有陪伴感的随身助理。硬件方面,单耳重11克,采用开放式耳挂设计,双侧配备200万像素双目摄像头用于实时识别物体与场景。耳机盒集成4G网络,支持脱离手机独立使用。续航上,耳机通话可达9小时,音乐播放15小时,配合充电盒总续航最高为90小时。