用稳健数据加载与自动评判评估多模态视觉模型:Moonshot PerceptionBench 端到端评测流程
本文构建了一套 PerceptionBench 多模态基准的端到端评测流程,覆盖 OCR、计数、定位、上下文推理、比较、深度理解与幻觉检测等细粒度视觉感知任务。流程采用多阶段流式与下载策略加载平衡子集,支持盲基线、OpenAI 兼容多模态 API 及本地 Hugging Face 视觉语言模型,并实现基于规则与可选 LLM 辅助评判、bootstrap 置信区间及能力画像对比。
本文构建了一套 PerceptionBench 多模态基准的端到端评测流程,覆盖 OCR、计数、定位、上下文推理、比较、深度理解与幻觉检测等细粒度视觉感知任务。流程采用多阶段流式与下载策略加载平衡子集,支持盲基线、OpenAI 兼容多模态 API 及本地 Hugging Face 视觉语言模型,并实现基于规则与可选 LLM 辅助评判、bootstrap 置信区间及能力画像对比。
Grok 观看视频的能力是这款应用最被低估的功能之一。 你甚至不需要上传视频,它也支持链接。只需粘贴一个视频链接,Grok 就能观看、总结并回答你的问题。 这能节省大量时间。试试吧!
DesignArena 开发商 Intelligence 完成 790 万美元种子轮融资,由 Index Ventures 领投,Conviction、A*、Valkyrie 等参投。该平台通过“A vs. B”人工排序为媒体生成模型提供规模化反馈,目前拥有 530 万用户,ARR 达 6000 万美元。创始人表示,人类判断是模型在设计领域改进的关键瓶颈,此类数据可补充易被操纵的自动化基准测试。
Apple 研究团队系统梳理了多模态大语言模型(MLLM)中的偏好对齐方法,将算法分为离线(如 DPO)与在线(如 online-DPO)两类,并发现两者结合可在特定场景下提升模型性能。团队还提出无需额外标注或外部模型的新型多模态偏好数据构建方法 Bias-Driven Hallucination Sampling(BDHS),在多项基准上取得与既有对齐工作相当的竞争力。
商汤推出 SenseNova U1.5-Lite-Preview,一个基于 NEO-Unify 架构的轻量级原生统一多模态模型,仅 8B-MoT 参数即可达到商业闭源模型的生成与编辑质量。
推荐理由:8B 参数的小模型在生成和编辑上接近闭源水平,有望降低轻量化多模态应用的门槛,但预览版功能可能尚不完整。
MiniMax 发布 H3 视频模型权重,首次让开源模型登顶 AI 视频评测榜单。Artificial Analysis 将 H3 列为视频编辑第一、文生视频第二、图生视频第三。
推荐理由:教程展示了如何用 Kimi Slides 一站式完成幻灯片的结构、设计和下载,对需要快速产出演示文档的 Kimi 用户有直接可用性,但完整效果仍取决于实际模板和内容质量。
科大讯飞发布首款AI眼镜,主打翻译场景,支持旁听同传、面对面翻译等四大模式,覆盖122种语言,依托5+1麦克风阵列可清晰捕捉8-10米内声音,翻译延迟约1秒。眼镜重40g,搭载1200万像素摄像头,支持视觉翻译,并可调用桌面助手Loomy完成总结、存档等任务。售价4299元,续航可支撑一个白天高强度使用。
Arena 发布 2026 年第 31 周 AI 大模型排行榜,阿里 qwen3.8-max 以 1496 分空降综合榜第 5 名,成为排名最高的国产模型,仅比榜首 claude-fable-5(1509 分)低 13 分。
科大讯飞于今年 5 月在澳门 BEYOND Expo 2026 发布其首款 AI 眼镜,定位为眼前的超级 AI 助理,主打翻译场景。该眼镜采用经典眼镜形态,机身重 40g(IT之家测得 41g),配备 1200 万像素摄像头、5 颗气导麦克风加 1 颗骨传导麦克风及讯飞多模态 AI 降噪系统,支持近视 600 度以内和散光 200 度以内配镜。
荣耀Robot Phone的钛合金四自由度机械云台与YOYO智能体结合,让手机具备可转动、可表达状态的“眼睛”和“脖子”,云台可随音乐节拍摆动、对手势做出联动反馈。实测中YOYO能完成跨飞书、高德、美团、小红书的多APP长程任务,并支持全程后台运行。作者认为运动本身成为新的交互语言,手机正从工具走向伙伴。
商汤科技今日开源轻量级统一多模态模型预览版 SenseNova U1.5-Lite-Preview。该模型以仅 8B-MoT 的规模,在多项主流生成/编辑质量评测基准上显著超越 U1,实现可比肩商用闭源模型的图像生成与编辑效果。相比 U1,新版本原生支持 4K 图像生成,并提升局部纹理细节、中英文文字生成与复杂版式组织,以及图像编辑和视觉指令遵循能力。
Qwen3.8-Max ranks #2 in Vision Arena scoring 1,305. Second only to Claude Fable 5 (High) which has only a 13pt lead.
🎉 Congrats to @MiniMax_AI on releasing the open weights for MiniMax H3! Day-0 support in vLLM-Omni! One model reads text, images, video, and audio as a single context and returns video with native stereo audio. Text-to-video, first/last-frame, and multi-reference generation, 4 to 15 seconds at up to 2K and 24 FPS. The MP4 comes back with H.264 video and a synchronized stereo track already muxed in. It serves over the OpenAI-compatible /v1/videos endpoint, synchronous or async with job polling. 🔊 The video ⬇️ was made with H3, served on vLLM-Omni.
MiniMax H3 is native in ComfyUI, day zero with the weights. Model highlights: → Text-to-video, prompt only → Image-to-video → First-and-last-frame - control the opening frame, the closing frame, or both → Reference-to-video - carry a subject, a motion, or a voice through the clip → In-place editing - modify a shot you already have instead of regenerating it The capability @MiniMax_AI leads with is multimodal context understanding, and it's what collapses those five tasks into one model. H3 takes images, audio, and video together and resolves them against a prompt that explains how they relate. Download the workflows & learn more in our blog 👇
阿里巴巴千问 Qwen3.8-Max 今日上线,总参数量 2.4 万亿,在编程、办公、长程任务与多模态智能体等方面全面提升。API 已上线千问 AI 平台并接入“千问办公”Agent 产品,模型权重将于下周开源。国内 API 每百万 Tokens 输入 12 元、输出 36 元。
MiniMax 今日正式开源新一代通用视频模型 MiniMax H3,可统一理解文本、图像、视频和音频构成的多模态上下文,生成最高 2K 分辨率、最长 15 秒且带原生立体声音频的视频。
MiniMax 正式开源新一代通用视频模型 H3,可统一理解文本、图像、视频和音频,生成最高 2K 分辨率、最长 15 秒、带 32 kHz 原生立体声音频的视频。
推荐理由:与多数开源视频模型不同,H3 原生支持同步生成立体声音频,且通过上下文再生成实现 2K 分辨率,为音视频生成应用提供了更完整的开源基座。
Qwen 正式发布 Qwen3.8-Max,这是 Qwen 家族迄今最强的模型,拥有 2.4T 参数(95B 激活),并首次开源 Qwen-Max 级权重,开放权重将于下周发布。
推荐理由:首次将 Max 级模型权重开源,为开源社区提供比肩闭源旗舰的能力,但实际效果需待下周权重放出后由社区验证。
Onton 发布神经符号搜索模型 Ontology 1,在 90 条查询基准 Subtext-Decor-90 上平均 precision@10 达 0.630,超过 Google Shopping(0.543)和 Amazon(0.469),且索引量仅为后两者目录的约 1%。
本教程设计了一套完整的 GeoAI 工作流,从高分辨率 NAIP 航拍影像中提取建筑足迹。流程涵盖配置深度学习环境、下载影像与标签、生成图像块和分割掩码,训练 ResNet-34 编码器的 U-Net 模型,并应用滑动窗口推理。
Thinking Machines Lab 发布开源权重 MoE 模型 Inkling-Small,总参数 276B、激活参数 12B,约为 975B 总参数 Inkling 的四分之一,原生支持文本、图像和音频推理,上下文窗口达 1M tokens,权重以 Apache 2.0 协议在 Hugging Face 上提供。
Fender CEO Edward “Bud” Cole 在 T3 采访中称翻唱歌曲和乐队成员是“模拟 AI”,并认为 AI 将帮助吉他手成为创作大师。该言论在 Fender 因向制琴师发停止函而陷入公关危机后再度发酵,遭音乐人反驳:人类学习翻唱与 AI 训练数据规模不可比,且依赖 AI 可能导致技能退化。
Only if education could be this interactive ❤️🔥 I've had a looong wish to build something genuinely useful through vibe coding, and I finally did it. A 3D human anatomy application built with @threejs using GPT 5.6 Sol. It all started with a single design image that I created using GPT Image 2.0. I then used it to generate every 3D organ image, one by one. Next, I converted each of those images into 3D models using @tripoai (and no, they didn't sponsor this 😄). After that, I opened Codex, wrote a master prompt based on the design, and gave it the prompt, the design image, and all the 3D models. Codex built the first version beautifully, but there was one big problem. Every single 3D model was nearly 120-150 MB. That obviously wasn't practical for the web and was giving a performance of 16fps. After a few iterations, Codex optimized each model down to roughly 2–5.5 MB while preserving the visual quality, reducing the total asset size from ~900 MB to just 28.6 MB. And each model loads on demand. Along the way, Codex also generated those anatomical illustrations showing where each organ sits in the human body, and even created the interactive hotspot markers that explain different parts of every organ. It handled all of that. The process wasn't exactly one shot, but it also wasn't difficult. You just have to do it step by step. It genuinely felt like building something that could make learning anatomy much more engaging. The inspiration came from @DilumSanjaya's 3D animal plant cell project. I remember seeing it and thinking, "I want to build something like this one day." And I did it :D Live: https://anatomy-livid.vercel.app/ Code: https://github.com/thebuggeddev/anatomy
Good news for anyone with too many tabs: ChatGPT is getting better around the web. 🧩 Chrome extension: In Side Chat, ask about a YouTube video, reference your open tabs, or highlight text on a page and ask away. 💻 Desktop app: Get URL suggestions as you type, revisit your browser history, and choose how it’s managed. Rolling out today.
Thinking Machines 发布首个模型 Inkling,为 975B-A41B 多模态 MoE,支持文本、图像和音频输入,并推出 276B-A12B 小版本。
百度智能云在ChinaJoy发布面向AI+游戏行业的全栈解决方案,以“从算力到体验的全栈基础设施供给者”为定位,构建覆盖AI Infra和Agent Infra两层能力体系。
Snap 宣布将于 9 月 16 日在洛杉矶举办专场活动,全面展示旗下首款面向普通消费者的 AR 眼镜 Specs,CEO 埃文·斯皮格尔将首次深入介绍其功能与应用场景。该眼镜售价 2195 美元,采用自研 LCoS 显示技术,拥有 51 度视场角,无需外接计算单元即可独立运行,内置 AI 功能可实时提供情境化帮助。设备混合使用续航最长约 4 小时,搭配充电盒可扩展至约 20 小时。
Anthropic 的 Claude Opus 5 仅凭单个文本提示词即可生成可运行的 3D 游戏世界,包括第一人称射击游戏和《我的世界》复刻版,无需任何外部文件或预制资源。模型从零编写几何、纹理、物理和音乐代码,并以可编辑的 HTML 文件直接在浏览器中渲染。社区测试显示,其物理真实感和机械复杂度显著超越去年的 Claude 4 Opus,也优于 GPT-5.6 Sol 和 Kimi K3。
True [引用 @cb_doge]:Grok 可以为你观看并分析视频。 只需像上传图片一样上传视频,然后向 Grok 提问任何关于视频的内容。
Grok can watch and analyze videos for you. Just upload a video the same way you upload an image and ask Grok anything about it.
Grok 可以分析任何视频 https://grok.com/share/bGVnYWN5_8013f7a3-f604-4351-8cd7-acecf3ef165b
推荐理由:Grok 的视频分析功能将多模态交互扩展到动态内容,对快速理解视频素材有直接帮助,不过演示链接未展示长视频或复杂场景下的表现,实际适用范围待验证。
Grok 可以为你观看并分析视频。 只需像上传图片一样上传视频,然后向 Grok 提问任何关于视频内容的问题即可。
Fenix Flexin 单曲《Rubberz》攀升至 Billboard Hot 100 第 58 位,随即被质疑由 AI 生成。The Verge 用五种 AI 音乐检测工具测试,判定 AI 生成或辅助概率在 20% 至 30% 之间,但封面图、社交媒体帖及歌词分别被 AI 图像和文本检测工具以超 97% 置信度判为 AI 生成。
洛杉矶说唱歌手 Fenix Flexin 的单曲“Rubberz”登上 Billboard Hot 100 第 58 位,但被多方质疑主要由 AI 生成。音频中多处出现 AI 生成音乐的典型伪影,封面和歌词被多个 AI 检测器以超 97% 置信度标记为 AI 产物,现场表演也疑似对口型。Fenix 否认指控,但未提供有力反驳。
字节跳动推出 AI 视频模型 Seedance 2.5,可一次性生成视频与音频,片段最长 30 秒且支持多次扩展,而 Google Gemini Omni Flash 上限约 10 秒。
文生视频支持、图像与语音参考,以及原生 1080p 已登陆 Grok Imagine Video 1.5。