跳到正文
#多模态
5月9日周六
  1. IT之家·人工智能66

    DeepSeek 大范围开放“识图模式”，正式跨入图文交互时代

    DeepSeek已广泛开放其“识图模式”供用户体验。该功能具备深度图片理解能力，不仅能识别文物、解答空间推理题、理解网络梗图，还能将截图中的代码或UI界面还原为可交互的HTML代码。其核心技术“以视觉原语思考”框架，通过融入点、边界框等视觉元素提升逻辑准确性，且处理效率高，单图token消耗远低于主流模型。目前该模式仍处内测，存在知识库更新滞后、处理反直觉图形不稳定等不足，且暂不支持图像生成或视频理解。

  2. Elon Musk45

    特斯拉AI视觉系统可在碰撞前部署气囊，大幅降低伤亡风险。该功能将免费提供给所有新车。 [引用 @Tesla]：Tesla Vision allows us to deploy airbags up to 70 milliseconds earlier if your Tesla detects an unavoidable collision This can be the difference between serious injury & walking away from a crash

    引用Tesla@Tesla

    Tesla Vision allows us to deploy airbags up to 70 milliseconds earlier if your Tesla detects an unavoidable collision This can be the difference between serious injury & walking away from a crash

  3. Artificial Analysis62

    StepFun 推出的 StepAudio 2.5 TTS 模型在 Artificial Analysis 语音竞技场排行榜中位列第三，仅次于 Inworld Realtime TTS 1.5 Max 和 Google Gemini 3.1 Flash TTS。该模型语音自然度显著提升，以 1187 的 Elo 评分超越 Eleven v3。其定价为每百万字符 85 美元，高于领先模型；生成速度为每秒 37.6 字符，介于竞品之间。模型提供全局上下文提示和行内情感标签两种控制语音表现的方式。

  4. StepFun50

    在SaaStr week期间，SEAMATE与主办方于San Mateo共同举办创始人社交聚会。活动设有2分钟开放麦克风环节，供参与者介绍自身及项目；主办方将演示整合文本、视觉、语音、音乐的单一API。活动面向AI创始人、SaaS建设者、运营商和投资者，提供晚餐和开放酒吧至晚上9点。时间为5月12日5:30 PM PT，参与者需通过RSVP链接注册。

    引用StepFun@StepFun_ai

    Step Out. StepFun In. 🍕🍺 We’re hosting a Founder mixer during SaaStr week in San Mateo with SEAMATE! AI founders, SaaS builders, operators, investors — open mic, dinner, open bar 'til 9. May 12 · 5:30 PM PT RSVP → https://luma.com/4cqlswgf

  6. Apple Machine Learning Research66

    Velox：学习4D几何与外观的表示

    Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。

    推荐理由：苹果把动态点云的几何和外观塞进一个可压缩的latent space，思路干净但领域垂直，做3D视觉和AR的可以跟一下，其他人不用急着读。

5月8日周五
  1. IT之家·人工智能55

    索尼公布 PlayStation 游戏 AI 开发计划：相信将释放工作室的创造力

    索尼互动娱乐总裁西野秀明公布 PlayStation AI 开发计划，称AI将降低创作门槛、加快开发周期。其自研工具Mockingbird可根据表演捕捉数据在不到一秒内生成3D面部动画，取代原本数小时工作。索尼强调AI用于增强而非取代创作者，且已在PlayStation Store等业务中通过AI驱动工具带来超7亿美元增量收入。

  2. IT之家·人工智能54

    阿里千问 AI 眼镜 S1 获升级：引入主动服务能力、新增支持信息空间 3D 显示

    阿里千问AI眼镜S1迎来重要升级，核心是引入主动服务能力。眼镜能结合时间、地点和环境，主动提供如“出门带伞”、“抬头活动”等提醒。本月将上线打车、闪购、规划行程、购票等生活AI服务，减少对手机的依赖。同时，产品新增“空间3D显示”能力，通过双光机与双目立体成像技术，使信息通知、导航等内容呈现具有纵深感的立体视觉效果，显示更自然真实。

  3. IT之家·人工智能50

    三星被曝开发 AI 驾驶助手：精准追踪刹车 / 转弯等，周报推送个性化建议

    据科技媒体挖掘三星One UI 9早期固件代码，发现其正在开发一款名为Driving Insights的AI驾驶助手应用。该应用利用手机传感器和AI算法，精准追踪用户的加速、转弯、刹车等驾驶行为数据，旨在帮助用户了解并改善驾驶习惯。应用支持连接车载蓝牙后自动记录行程，并可生成个性化驾驶周报，通过三星Now Brief推送。周报会基于数据分析提供反馈，如评价驾驶风格保守或动态，并在长途驾驶后提醒用户注意休息，防止疲劳驾驶。

  4. SenseTime42

    商汤科技在新加坡MTX-Millipol TechX展览中展示了其前沿的视觉AI创新，旨在提升城市安全与智能化水平。其解决方案基于SenseFoundry单体算法模型生产平台和由SenseNova驱动的多模态视频理解智能体，涵盖从火灾检测到交通事故监测等公共安全领域。公司表示将与新加坡合作伙伴紧密协作，共同加速数字化转型，构建开放、包容且繁荣的本地AI生态系统。

  5. IT之家·人工智能57

    商汤发布日日新 SenseNova 6.7 Flash-Lite 多模态模型，Token Plan 限时免费

    商汤科技推出新一代轻量化多模态模型“日日新 SenseNova 6.7 Flash-Lite”。该模型采用原生多模态架构，能直接理解网页、文档和图表，提升复杂任务处理效率。它取消了视觉转文本中间层，以更小参数量实现能力跨越，在权威测试中取得多项同级别SOTA，并在信息搜索等场景中比纯文本智能体降低60%的Token消耗。同时，商汤推出限时免费的SenseNova Token Plan，为开发者提供首月无门槛调用额度，并将其全线办公技能SenseNova-Skills在GitHub开源。

  7. IT之家·人工智能70

    苹果首款 AI 可穿戴设备：内置摄像头的 AirPods 已进入 DVT 阶段，预计最快 9 月搭载新 Siri 亮相

    据报道，苹果内置摄像头的AirPods已进入设计验证测试（DVT）阶段，最快有望于今年9月作为其首款AI可穿戴设备发布。该产品左右耳机配备低分辨率摄像头，用于捕捉环境视觉信息，以支持升级版Siri实现视觉问答等功能。其整体外观类似AirPods Pro 3，但耳机柄因容纳摄像头而加长。产品原计划2026年发布，因Siri升级延迟而推迟，此次升级得益于与谷歌Gemini的技术合作。苹果还在探索其导航提醒等用途，并为缓解隐私担忧内置了数据上传指示灯。

    推荐理由：苹果把摄像头塞进 AirPods 做 Siri 的眼睛，这比智能眼镜更务实，但隐私指示灯能有多显眼是个疑问，做 AI 硬件的该看看苹果怎么绕开 Meta 的坑。

  8. Apple Machine Learning Research69

    用于学习语义丰富视觉表征的文本条件JEPA

    研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。

    推荐理由：Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练，用稀疏交叉注意力减少预测不确定性，对多模态表征学习是个不错的思路补充，做视觉模型的值得一看。

  9. OpenRouter68

    Gemini 3.1 Flash Lite 来自 @GoogleDeepMind，现已在 OpenRouter 正式发布。 多模态（文本/图像/视频/音频/PDF → 文本），100万上下文，可选的思考层级，输入每百万次$0.25，输出每百万次$1.50。 还可配合我们新的 service_tier 参数使用，以权衡成本与延迟！

    推荐理由：OpenRouter 把 Gemini 3.1 Flash Lite 的多模态 1M 上下文压到 $0.25/M token，这个定价让 Flash 系列不再是试验品，轻量级应用可以认真考虑它了。

  10. OpenAI：官网动态86

    通过 API 中的新模型推进语音智能

    OpenAI API 推出了新的实时语音模型，能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平，支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具，以构建更流畅、更智能的语音应用体验。

    推荐理由：语音模型不再只是‘听写’，开始能推理和翻译了，OpenAI这次API更新的几个新模型把语音智能推向更实用的阶段，做语音产品的值得赶紧试试。

  11. Z.ai73

    GLM-5V-Turbo 技术报告：迈向原生多模态智能体基础模型 本报告总结了GLM-5V-Turbo在模型设计、多模态训练、强化学习、工具链扩展以及与智能体框架集成等方面的主要改进。这些进展使其在多模态编码、视觉工具使用和基于框架的智能体任务中表现出色。 http://arxiv.org/abs/2604.26752

    推荐理由：智谱把多模态、RL和Agent工具链捆成一体，这篇报告对做多模态Agent的人有直接参考价值，不只刷榜还有工程细节。

5月7日周四
  1. Rohan Paul65

    由@video_rebirth新推出的BACH 1.0解决了AI视频模型中最棘手的难题之一：在不同角度和镜头切换中保持同一角色面部的一致性。 不仅是单个优质特写镜头。它实现了同一身份的真实多镜头一致性，而这正是多数图像转视频模型仍会失效的环节。 BACH擅长表现角色的面部情绪。 整体而言，其输出极具电影感且达到制作水准。 目前在Artificial Anlysis全球榜单中位列第六。 🧵 1.

  2. IT之家·人工智能69

    小米开源 OmniVoice 多语言语音克隆 TTS，号称一个模型搞定 600 余种语言

    小米AI实验室开源多语言语音克隆TTS模型OmniVoice，覆盖600余种语言。该模型采用极简双向Transformer架构，无需复杂结构即可实现文本到语音的直接转换。其语音合成质量超越同类主流模型，训练速度可达一天10万小时。关键设计包括全码本随机掩蔽策略和引入大语言模型预训练参数，显著提升训练效率与语音可懂度。测试显示，在多种语言中其相似度与可懂度超越多款商用系统，并对低资源小语种也能实现高质量合成。模型还支持自定义音色、带噪音频适配等实用功能。

  3. IT之家·人工智能63

    腾讯开源 OpenSearch-VL，突破多模态搜索 AI 智能体训练瓶颈

    腾讯混元联合多所高校开源了OpenSearch-VL多模态训练方案，旨在通过强化学习解决前沿多模态搜索智能体的高质量训练数据瓶颈。该方案提供了从数据构建、工具集成到训练算法的完整开源框架。其核心是构建了高质量数据管道，通过维基百科路径采样与模糊实体重写等技术，产出高质量数据集，抑制检索捷径，鼓励智能体进行多跳搜索与推理。工具环境集成了文本/图像搜索、OCR及多种图像处理功能。实验结果显示，其模型将基线平均得分从47.8显著提升至61.6。

  5. IT之家·人工智能65

    Adobe Acrobat 发布 PDF Spaces：静态文档秒变 AI 交互工作空间

    Adobe于5月6日在Acrobat中推出PDF Spaces功能，可将PDF、文档、链接等静态材料转化为交互式AI工作空间。该功能利用AI自动生成摘要、音频概览、品牌演示文稿及定制聊天机器人。接收者能与AI助手对话以快速获取信息并定位关键内容，适用于销售提案、市场营销和人力资源等场景。目前，该功能已在Acrobat Express和Acrobat Studio上线。

  6. xAI：News79

    Grok Imagine API 推出“Quality Mode”图像生成与编辑功能

    xAI正式向企业开发者和团队推出Grok Imagine API的“Quality Mode”图像生成与编辑功能。该模式在真实性、文本渲染和创意控制上实现显著提升，能生成细节精细、纹理准确、场景逼真的图像，并具备清晰的多语言文本生成能力。在独立排行榜中，该API已位列顶级模型之列。定价为输入提示每次0.01美元，输出图像根据分辨率（1K或2K）每张费用在0.05至0.07美元之间。此功能适用于产品可视化、营销素材快速生成、用户内容风格创作等多种商业场景。

    推荐理由：Grok Imagine 的 Quality Mode 在写实度和文字渲染上提升很明显，对需要高频生成产品图和 UGC 内容的品牌团队是个实在的更新，API 直接能用，单张才几分钱。

  7. Apple Machine Learning Research73

    从位置认知到功能理解：为多模态大语言模型设立空间功能智能基准

    现有基准如VSI-Bench主要评估基础几何感知能力，但未能触及具身智能所需的高阶认知。为此，研究团队推出了空间功能智能基准SFI-Bench，该基准包含超过1700个问题，数据来源于多样化的第一人称室内扫描视频。SFI-Bench旨在系统评估多模态大模型从物体位置感知到功能意图理解的高级空间推理能力，标志着对智能体空间认知的评估从几何层面迈向功能层面。

    推荐理由：Apple 自己搞的 SFI-Bench 把评估从几何定位推进到功能理解，这个方向很对，做具身智能和空间推理的团队该跟一下。

  8. Google Gemini67

    通过个人智能与Nano Banana 2的协同工作，您现在可以将兴趣转化为Gemini中的图像。 请勿错过我们在Discord上的下一次社区活动，届时将有最新版本团队的现场演示和问答环节。 👉加入我们的Discord观看直播：http://discord.gg/gemini 📅 今天太平洋时间中午12:00

    推荐理由：Nano Banana 2 把 Gemini 的图像生成从写 prompt 变成了识别你的兴趣，不用费力描述也能出图，对普通用户可能是真痛点，看直播看看实际效果。

5月6日周三
  1. IT之家·人工智能71

    豆包大模型家族首款全模态理解模型：字节跳动 Doubao-Seed-2.0-lite 升级

    字节跳动火山引擎发布豆包大模型家族首款全模态理解模型 Doubao-Seed-2.0-lite 升级版。该模型原生统一支持视频、图像、音频和文本理解，并能进行跨模态联合推理，在物理、医疗等学科推理及细粒度感知上表现超越此前Pro版本。音频方面支持19种语种转写及多语种互译，多项基准测试优于Gemini-3.1-Pro。同时，其Agent、Coding与GUI能力升级，能更稳定处理长任务、胜任深度开发，并实现界面理解与操作执行的闭环。新版本已在火山方舟上线，旨在为企业提供高性价比的全模态任务部署方案。

    推荐理由：豆包Seed 2.0 lite把视频、音频、图片、文字原生塞进一个模型，还顺手强化了Agent和GUI操作，对需要全模态处理的企业来说，这可能是目前性价比最高的选择。

  3. IT之家·人工智能51

    前沃尔玛电商业务 CEO 马克 · 劳尔：将来任何人都能用 AI“开餐厅”

    前沃尔玛电商业务CEO马克·劳尔在其餐饮平台Wonder中推出AI工具“Wonder Create”，用户可在不到一分钟内生成完整的虚拟餐厅品牌，包括名称、描述、图片及菜谱。Wonder平台采用“可编程烹饪平台”模式，配备机器人厨房与700种食材库，能灵活切换25种菜系。该创新旨在大幅降低餐饮创业门槛，让用户快速测试新菜品与品牌概念。

  4. IT之家·人工智能70

    苹果 iOS 27 将允许用户选择第三方 AI 模型，支持谷歌与 Anthropic 等

    据报道，苹果计划在秋季发布的iOS 27等系统中，推出名为“Extensions”的新功能，允许用户自行选择已通过App Store集成的第三方AI模型（如谷歌、Anthropic的模型），来驱动设备上的文本生成、图像编辑等AI功能。此举将打破此前ChatGPT作为唯一第三方选项的独占地位。同时，Siri将支持更换不同音色以区分内外模型，并迎来独立App及更深度的系统整合。苹果将在App Store设立专区展示兼容应用，并对第三方模型生成的内容免责。

    推荐理由：苹果放开 AI 模型底层的选择权，让谷歌和 Anthropic 进入原先 OpenAI 独占的地盘，这比发一个新模型更有生态意义——手机 OS 正在变成 AI 的分发渠道。

  5. Rohan Paul76

    OpenAI已将GPT-5.5 Instant设置为ChatGPT的默认模型。该模型在医学、法律和金融等关键提示上的虚假陈述比前代减少52.5%，在用户标记过事实错误的困难对话中不准确陈述降低37.3%。回答更简洁，用词和行数减少约30%。同时，模型增强了图像和STEM处理能力，并能从记忆、过往对话、文件及连接的Gmail中提取上下文以实现深度个性化。OpenAI表示，此次升级旨在提供更智能、清晰、个性化且语气自然温暖的回答。

    引用OpenAI@OpenAI

    GPT-5.5 Instant 开始在 ChatGPT 中逐步推出。 这是一次重大升级，它能以更温暖、更自然的语气，为你提供更智能、更清晰、更个性化的回答。 同时它也更加简洁——我们听到了大家的诉求。我们相信你会喜欢与它聊天。

  6. OpenAI Developers56

    OpenAI在四月份为开发者推出多项重要更新。核心是GPT-5.5的发布和广泛应用，社区已积极采用。Codex获得增强，支持更多插件集成、Chronicle上下文记忆功能以及团队协作。Agents SDK增加了对长时间运行智能体的控制，并新增TypeScript支持。API方面，Responses API引入WebSockets支持，Symphony功能可将问题队列转化为智能体工作流。图像创建与编辑功能已集成至Codex和API，同时支持构建交互式语音应用，推动开发者工具生态发展。

  7. Google AI Developers68

    Gemini API 文件搜索工具近日扩展三项功能更新，旨在帮助开发者更轻松地构建高精度多模态检索增强生成系统。更新包括：多模态支持，通过Gemini Embedding 2模型实现对图像和文本的同步推理；自定义元数据过滤，允许为文件添加键值标签以结构化非结构化数据，从而提升搜索速度；精确引用功能，能够捕获并返回每条索引信息的精确来源，如页码。开发者可通过Google AI Studio的示例应用体验这些功能，与图像和文档库交互，提问并追溯答案来源。

    推荐理由：如果你在用 Gemini 搭 RAG 系统，这三项更新能直接改善搜索精度和可解释性，多模态搜索终于把图片和文档打通了，值得马上试试。

  8. Rohan Paul73

    Luma的Uni-1.1模型现已作为API开放。这是一个用于图像生成和自然语言编辑的统一智能模型，其核心特点是“意图优先”的图像生成。模型在生成前会进行思考，能补全场景缺失部分，理解空间上下文而非仅像素，并能基于参考图像保持一致性。该API内置提示词增强、研究和参考收集功能，专为生产环境打造。据称，其成本和延迟仅为同类模型的一半以下，且在图像生成与编辑的综合评测中位列前三。

    引用Luma@LumaLabsAI

    The Uni-1.1 API is live today. Built-in prompt enhancement, research, and reference gathering at the API level. Trained in collaboration with Hollywood cinematographers, VFX artists, and world-class artists across cultural forms. Less than half the price and latency of comparable models. Designed for builders shipping in production — and ranked top 3 lab in the Image Arena across Text-to-Image and Image Edit. Start Building → https://lumalabs.ai/api

  9. Sam Altman69

    5.5 instant 今日登陆 ChatGPT！ 在我看来这是一个相当大的升级，我真的很喜欢使用它。 [引用 @ericmitchellai]：Excited that we're updating the default model in ChatGPT today! 5.5 instant 在智能、图像感知和事实准确性方面都有显著提升。 它还更新了写作风格，使其更平实、更直接。 你的愿望清单上有什么？

    引用Eric@ericmitchellai

    很高兴地宣布，我们今天正在更新 ChatGPT 的默认模型！ 5.5 instant 在智力水平、图像感知和事实准确性方面有了大幅提升。 同时，写作风格也进行了更新，变得更加简洁直接。 你的愿望清单上还有哪些内容？

    推荐理由：ChatGPT 默认模型悄悄换上了 5.5 instant，图像感知和事实性提升明显，写作风格也更直接，每天用它的人今天会感觉到差异，不是小修小补。

  10. Fei-Fei Li61

    游戏创作平台Astrocade宣布完成5600万美元融资，B轮由红杉资本领投，A轮由Sea领投。该平台旨在利用AI技术降低游戏创作门槛，让用户能够轻松创建游戏、与朋友游玩并向数百万人分享作品。其核心理念并非取代创造力，而是为更多人提供工具，使其能将个人品味、幽默感、故事和技艺融入游戏创作中，推动互动娱乐进入新纪元。

    引用Astrocade@PlayAstrocade

    We raised $56M to help build the next era of interactive entertainment. Series B led by @sequoia, Series A led by Sea. Astrocade lets anyone create games with AI, play them with friends, and share them with millions. But this isn’t about replacing creativity. It’s about giving more people the tool to bring their taste, humor, stories, and craft to life. Today, the fun goes public.

5月5日周二
5月4日周一
  1. IT之家·人工智能51

    豆包将在免费模式外新增付费订阅：68 元 / 200 元 / 500 元三档，主打生产力场景

    豆包在免费模式外新增付费订阅服务，推出三档价格：标准版连续包月68元、包年688元；加强版连续包月200元、包年2048元；专业版连续包月500元、包年5088元。付费功能专注于复杂任务和生产力场景，如PPT生成、数据分析和影视制作，以满足专业用户对高价值任务的需求。免费版本将继续服务日常使用，官方表示相关方案仍在测试阶段，正式上线时会公布完整信息。