技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
454 条精选近 30 天 31 条共收录 2,683 条
字节跳动正式发布多模态图像创作模型 Seedream 5.0 Pro。该版本在图文匹配、结构合理性及文字渲染上全面提升，核心突破包括：支持高密度数据与概念的专业排版可视化；基于空间位置理解的交互式精准编辑（如点选、图层分离、多图融合）；还原真实光影与人像质感；以及原生支持十余种语言的输入与本地化特征生成。目前已在火山方舟、豆包及即梦上线体验。
推荐理由：展示了 AI 图像生成从“好看”向“可用”的进阶，特别是其解决复杂信息图表生成和像素级局部编辑的能力，对专业设计工作流有显著价值。
蚂蚁集团旗下具身智能公司Robbyant开源LingBot-Vision，一套自监督视觉Transformer家族，专为密集空间感知设计。旗舰ViT-g/16参数约1.1B，采用掩膜边界建模训练，将边界作为原生预训练信号。在密集空间任务中，该1B模型匹配或超越参数规模高达7倍的大模型（如7B DINOv3）。模型以Apache-2.0许可证在Hugging Face开源，提供ViT-g、ViT-L（300M）、ViT-B（86M）、ViT-S四个规模。
推荐理由：在视觉基础模型里把边界当作核心信号，这个思路很反常识，1B模型在深度估计上超过7B的DINOv3，做机器人的可以认真看看。
NotebookLM@NotebookLM精选AI 评分6767短视频概览功能已正式在移动端和网页端面向所有英语用户全面上线！ 一如既往，您的意见对我们至关重要。请在下方分享您最喜欢的作品，并告诉我们接下来需要添加哪些功能！❤️
推荐理由：NotebookLM 把 Audio Overviews 升级成短视频，谷歌想让笔记工具自己「讲」出内容，思路比功能本身更值得关注，但目前只是锦上添花。
在5个模型上测试了1730道视觉推理题，发现将图像细节降至"low"会损失准确率，且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力（reasoning effort）。
推荐理由：OpenRouter 用 1730 道题的实验告诉你，降图像细节未必省钱，GPT-5.5 上反而更贵，真正靠谱的开关是控制推理努力。做视觉应用的不看这个容易踩坑。
JoyAI App 近日上线 UGC 数字人功能，用户只需上传一张照片即可生成专属虚拟数字分身，支持一键复刻写实形象或通过模板重塑为卡通风格，搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座，集成 JoyAI 语言、语音、数字人大模型，实现行业领先的全双工对话，支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性，可提供点外卖、金融咨询、学英语、规划行程等生活服务。
推荐理由：京东把数字人技术做成了「传一张照片就能捏」的大众玩具，虽然看不出硬核突破，但对普通用户来说，这是第一次零门槛体验有形象有语音的 AI 玩伴，上手即用。
7月3日，生数科技在2026全球数字经济大会上发布Vidu S1实时交互模型，支持实时视频通话和语音控制视频走向，实现无限时长连续互动。模型采用自回归扩散路线，基于已生成画面和语音指令持续预测后续内容；无需传统建模，一张图片即可创建角色并自定义音色。Vidu S1在540P分辨率下实现25FPS（最高42FPS）实时生成，通过TurboDiffusion等技术降低计算成本，已开启内测。
推荐理由：Vidu S1 把视频生成从离线拉到了实时通话级交互，语音控制无限时长是质变，但只有540P，内测阶段实际延迟和稳定性待看，做虚拟陪伴和直播的可以跟。
JoyAI App正式上线UGC数字人功能，用户上传一张照片即可生成高度还原的写实数字分身，或搭配模板重塑为卡通形象，并支持复刻音色。该功能复用“万能博士”技术底座，实现全双工对话能力，可随时打断、自然接话，同时提供点外卖、金融咨询等生活服务。
推荐理由：照片生成数字人并不新鲜，但把全双工对话和京东生活服务（点外卖、金融咨询）集成进一个虚拟玩伴，让陪伴型智能体有了更直接的服务抓手。
强化学习（RL）微调被扩展至视觉语言模型（VLM）。研究发现，简单的文本扰动——误导性标题或错误思维链（CoT）——会显著降低模型鲁棒性和置信度，且开源模型衰退更明显。闭源模型呈现类似失败模式，但鲁棒性和推理一致性更强。进一步分析揭示准确性与忠实性的权衡：微调提升基准准确率，但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性；对抗性增强可改善鲁棒性，却无法阻止忠实性漂移。引入忠实性感知奖励能恢复答案与推理的对齐，但与增强结合时训练易崩溃到捷径策略。这些发现强调需联合关注正确性、鲁棒性与视觉推理的忠实性。
推荐理由：RL微调让VLM基准分变好看，却可能让它的推理链变得靠不住，这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
戛纳国际创意节今年首次设立AI Craft子赛道，两部使用可灵AI生成的广告作品获奖：《L'Ultimo Uomo Reale》拿下Classic单元Film银奖及Craft单元Film Craft铜奖，《Lorem Ipsum》获得Classic单元Film铜奖。
推荐理由：《L’Ultimo Uomo Reale》和《Lorem Ipsum》用可灵完成从人物表演到视觉奇观的全部画面，戛纳金狮的认可使AI视频生成进入商业交付级评价体系，广告公司的「技术已就绪」主张因此有了第三方权威参考。
Google DeepMind 推出 Nano Banana 2 Lite（gemini-3.1-flash-lite-image），为 Nano Banana 系列速度最快、成本最低的图像模型，文本到图像输出仅需 4 秒，每 1K 分辨率图像成本 $0.034，已上线 Google AI Studio、Gemini API 及消费者产品（AI Mode in Search、Gemini app 等）。同时推出 Gemini Omni Flash（gemini-omni-flash-preview），支持高画质视频生成与对话式编辑，视频输出定价 $0.10/秒，面向开发者开放 API。
推荐理由：Nano Banana 2 Lite 把图像生成拉到 4 秒延迟和 0.034 美元单价，很适合高频草稿流，Omni Flash 首次对开发者开放视频生成和对话编辑，两个模型串起来的快速迭代工作流是这次最实用的更新。
Google Research 发布扩展的建筑屋顶反射率数据集，覆盖全球 50 多个城市，旨在帮助城市规划者优先部署冷屋顶方案以缓解极端高温。该数据集融合 Sentinel-2 卫星数据与 30 厘米分辨率的 Airbus Pléiades Neo 卫星图像生成，可通过新的高分辨率 Heat Resilience Earth Engine App 开放获取。相关方法论发表于《Nature Communications》。此前 2024 年的试点已覆盖 14 个城市，其数据曾指导制定冷屋顶条例与适应计划。
推荐理由：谷歌把屋顶反照率数据的精度做到30厘米，覆盖50+城市，还给了免费App，城市防暑从模糊规划变成可量化的工程，做气候韧性的人可以直接拿这个数据做方案，虽然只是特定领域应用，但AI落地真实场景的路径值得参考。
AI at Meta@AIatMeta精选AI 评分7979
推荐理由：Meta把非侵入脑解码从字符级推到语义级，Nature论文背书，我认真觉得这比任何benchmark刷分都有意义，给失语人群的希望比聊天机器人更值得关注。
Meta 发布 Brain2Qwerty v2，一种无需手术植入即可从非侵入性脑记录中实时解码句子的端到端 AI 管线，词准确率达 61%，最佳参与者达 78%，远超其他非侵入方法 8% 的水平。研究基于 9 名志愿者各 10 小时的 MEG 数据训练，Meta 已开源 v1 和 v2 完整训练代码，合作方 BCBL 发布 v1 数据集。
推荐理由：Meta 的 Brain2Qwerty 展示了不用开颅就能把脑电波转成文字，对渐冻症患者和未来人机交互来说是个重要信号，但离产品化还有距离。
Google AI Developers@googleaidevs精选AI 评分7373推荐理由：Computer Use 从浏览器扩展到移动和桌面，Google 正式把 agent 战场拉到全部界面。安全策略的加入说明不是 demo，而是认真考虑落地。
JoyAI APP 上线「欢乐足球季」主题活动，用户上传一张人像照片即可生成沉浸式赛场动态视频，支持肢体动作拟合、环境动态渲染与专业运镜。活动提供近 20 款视频模板，覆盖看台抓拍、进球庆祝、足球手势舞等玩法，并同步上线近 50 款足球主题聊球智能体。上线首周互动量日均增长率超 158%。
推荐理由：模板覆盖看台、进球、手势舞等场景，无需编辑技能即可产出氛围感短片，对丰富观赛社交内容有直接帮助。
百度推出Unlimited OCR，一个3B参数的MoE模型，推理时仅激活500M参数。其核心创新Reference Sliding Window Attention（R-SWA）将KV缓存大小固定为Lm + n（n默认128），内存和延迟不随输出长度增长。模型基于DeepSeek OCR继续训练4000步，支持32K最大长度，通过DeepEncoder实现16倍token压缩。在OmniDocBench v1.5上整体得分93.23，超出DeepSeek OCR基线6.22分；v1.6得分93.92为最高。Base模式下吞吐达5580 TPS，比DeepSeek OCR提升12.7%，6000 token输出时延迟低35%。适用于整本书转录等场景，代码与权重已在HuggingFace开源。
推荐理由：Baidu这个OCR模型用R-SWA把KV缓存压成常量，长文档解析终于不用越跑越慢了。MIT开源，3B总参但推理只消500M，做文档管线的可以直接接。
Google DeepMind 宣布，computer use 现作为内置工具集成于 Gemini 3.5 Flash，开发者可构建跨浏览器、移动端和桌面的智能体，实现视觉感知、推理与操作。此前该功能仅以独立模型形式存在于 Gemini 2.5。3.5 Flash 已支持函数调用及 Search、Maps 等内置工具，新增的 computer use 可提升持续软件测试和跨专业应用知识工作等长周期企业自动化任务的性能。安全方面采用针对性对抗训练，并可选配两项企业防护系统：要求用户确认敏感操作，以及在检测到间接 prompt 注入时自动停止任务。可通过 Gemini API 和 Gemini Enterprise Agent Platform 使用。
推荐理由：把 computer use 能力塞进轻量级的 Flash 模型，意味着在浏览器里跑视觉 agent 的成本会大幅降低，做企业自动化的团队可以立即试起来，安全措施也给了落地信心。
OpenBMB@OpenBMB精选AI 评分6565📸 MiniCPM-V 4.6 —— 2B 参数以下最强的视觉模型之一 —— 现在通过 Apple Core AI 在 iPhone 17 Pro 上以约 51 tok/s 运行。 🤗 http://huggingface.co/mlboydaisuke/MiniCPM-V-4.6-CoreAI 🛠️ http://github.com/john-rocky/coreai-model-zoo
推荐理由：社区把 MiniCPM-V 4.6 搬上 iPhone 17 Pro，跑出 51 tok/s，还给了代码和模型，做端侧多模态的可以直接跑起来了。
6月23日，部分用户反馈 ChatGPT 网页版和 App 版上线了双向 AI 语音模型 Bidi 1，位于设置模型选择器中，与标准语音和高级语音并列。该模型支持边说话边监听，用户可在对话中途打断并发出新指令，例如要求从1数到10时中途喊停倒数，模型会立即切换执行。OpenAI 尚未官宣，预计本周启动更大范围测试。
推荐理由：Bidi 1 让 ChatGPT 语音从回合制变成双向并行，打断后能立即响应，这是语音交互真正的升维，普通人很快就能感受到对话自然感的质变。
inclusionAI 在 HuggingFace 发布 SingGuard 系列模型，首个版本为 SingGuard-0.8b。该模型将安全策略作为运行时输入而非训练时固定分类，支持文本、图像、图文、多语言、查询侧和响应侧六类场景的安全评估。SingGuard 采用动态推理流程，支持快速首 token 路由输出即时安全信号，并在需要深度推理时继续生成更精确的判断。在涵盖多模态安全、图像安全、文本查询安全、文本响应安全、多语言查询安全和多语言响应安全的六类基准测试中，SingGuard 取得平均 SOTA 性能。模型原生兼容 Transformers 和 vLLM 的 chat 消息输入格式。
推荐理由：蚂蚁这个 SingGuard 把安全策略从固定的分类器变成运行时动态输入，对出海应用的合规审核有实际价值，尤其是多模态场景，我觉得能省掉很多重训成本。