技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
454 条精选近 30 天 31 条共收录 2,679 条
美团 LongCat 团队发布 MineExplorer，这是首个在《我的世界》开放世界中实现分钟级长程任务的评测基准，包含 813 个人工验证实例。评测 18 款顶级多模态大模型发现，最强模型 Claude-Opus-4.6 整体任务成功率仅 41%，从 1 跳任务的 77% 骤降至 4 跳任务的 12%，近 60% 的失败源于导航失败。MineExplorer 已全面开源。
推荐理由：18 个顶级多模态模型在 Minecraft 里全翻车，每多一层隐藏前置条件成功率就砍半，搞具身智能的该看看感知和行动之间还隔着什么。
即日起，Claude 语音模式在 Opus、Sonnet 和 Haiku 上运行，并支持连接 Gmail、Slack 等工具及更多语言。用户可在对话中切换模型，语音模式默认沿用上次文本聊天使用的模型。该功能面向所有用户开放 beta 测试，免费版可使用 Haiku 及一个连接工具，付费版可访问更多模型和全部连接工具。
推荐理由：Claude 语音模式终于能调用最强模型了，深度思考不再受限于轻量版，加上工具集成和多语言，移动端从随口问答升级为实时脑力伙伴，值得立即上手。
Microsoft AI 发布 MAI-Image-2.5-Pro 和 MAI-Voice-2-Flash 两款新模型公开预览版。
推荐理由：原文给出两款新模型的定价、性能数字和已落地的产品场景，读者可以据此评估在质量速度成本曲线上的选型。
美团 LongCat 团队构建 MineExplorer，这是首个在开放世界中做到分钟级长程任务的评测基准，含 813 个人工验证实例（1-hop 到 4-hop）及规则化里程碑自动评测框架。
推荐理由：感知强于推理、导航失败占比近60%，把具身智能的瓶颈清晰地拉回到规划能力，而非感官或资源。
Google 发布 Gemini 3.6 Flash 和 Gemini 3.5 Flash-Lite 正式版。3.6 Flash 在复杂智能体和多模态任务上性能更强，输出 token 价格降至 $7.50/1M，支持 1M token 上下文窗口和 Computer Use 工具。
推荐理由：Gemini 3.6 Flash 降本增效，3.5 Flash-Lite 主打低成本高速，弃用 temperature 等参数是个硬变更，使用 Gemini 的开发者必须检查迁移。
Black Forest Labs 发布多模态模型 FLUX 3，面向视频领域，原生支持音频、图像生成与动作预测。该模型旨在成为视觉智能的骨干，目前官方已展示其能力与早期结果。
推荐理由：Black Forest Labs 把图像、视频、音频拉通到一个模型里，这比单纯提升画质更有想象力，但目前只有一句简介，像个预告片，想真评估的还得等技术细节。
Qwen-Image-3.0上线，支持最高4.5k token输入、12种语言、20多种字体，以及多图融合、图中图和图片编辑。实测显示，其在中文长文本生成、多语言混合排版、UI设计、多图融合与图片编辑等19个场景中均能稳定输出，文字不崩且信息对应准确，图片质量已能与GPT Image2媲美。该模型在国内可直接使用，速度快且价格不贵。
推荐理由：Qwen-Image-3.0 的实测效果在中文文字稳定性和多图融合上可以和 GPT Image2 掰手腕，看完这些案例，你会意识到国产图像模型已经能务实替代一部分工作流了。
小红书开源 BigMac，一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线，在不增加 LLM 流水线空泡、保持激活显存有界的同时，高效实现多模态流水训练。相比基线，BigMac 训练速度提升 1.08～1.9 倍，并在 global batch size 增大时保持稳定显存占用，目前已应用于 dots 多模态模型生产训练。
推荐理由：通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算，BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择，适合正在纠结训练策略的工程团队检查调度逻辑。
腾讯设计Agent平台Miora今日全面开放，无需邀请码即可使用。该平台由WorkBuddy团队打造，提供品牌设计、影视创意等五大场景模式，支持自定义多模态模型和Agent推理深度，并内置Skill市场与记忆系统。
推荐理由：腾讯用WorkBuddy的底子做了设计Agent，记忆系统和Skill市场让设计流程有了Agent的基因，设计师和产品人可以上手试试。
通义千问发布第三代图像生成基座模型 Qwen-Image-3.0，核心关键词为“实”。该模型支持最长 4.5k token 指令输入，可单次生成包含 9 个复杂信息图的 3×3 网格布局；文本渲染精度达 10px，并支持 12 种语言原生渲染，旨在将图像转化为可部署的生产力工具。
推荐理由：我觉得 Qwen-Image-3.0 不只是画得好看，而是真正追求“有用”，4.5k token 输入、12 种语言渲染、10px 精细文字，对做设计、内容生产的人是生产力级突破。
NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge，一个 40 亿参数的世界模型，旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。
推荐理由：NVIDIA 把世界模型的能力压进 4B 参数，直接在 Jetson 上实时推理并生成机器人动作，对做具身智能的人来说是个标志性信号，边缘部署终于可以摆脱云端依赖了。
上海科学智能研究院开放科学多模态基础模型“神珍”，总参数约110亿，可处理DNA、RNA、蛋白质、小分子、地球系统和医学影像六类数据。在生物序列20项任务中，该模型9项取得最优结果；医学影像分割平均Dice得分91.20，在7种参评方法中最优。模型权重及代码已在星河启智、Hugging Face和GitHub开放。
推荐理由：一个模型同时理解蛋白质、气象和医学影像，还全开放权重和代码，对交叉学科的研究者是难得的工具包。比专用模型省去切换成本，值得科学计算方向的产品人关注。
字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0，在统一框架下联合建模人声、音效和环境声，支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线，多数场景音频可用率达 90% 以上，多语言音频自然度 MOS 超 4 分。
推荐理由：字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型，它把台词、音效、氛围统一编排，并支持百毫秒级时间线控制，对做视频和出海内容的团队是个立刻能用的创作升级。
昆仑万维董事长方汉在WAIC上宣布2026年为“世界模型元年”，并发布Matrix-Game 3.5世界模型、Mureka v9.5与O3音乐模型。Matrix-Game 3.5实现Patch级记忆注入，5B模型在720p分辨率下单卡可达20FPS实时生成，核心架构已开源。
推荐理由：Matrix-Game 3.5 用 Patch 记忆把世界模型推到单卡实时交互，还开源了，做游戏和具身智能的值得试。Mureka v9.5 和 O3 把 AI 音乐做成版本化创作，工具感很强。
昆仑万维在WAIC论坛宣布2026年为“世界模型元年”，并发布Matrix-Game 3.5世界模型与Mureka v9.5、O3音乐模型。Matrix-Game 3.5实现Patch级记忆注入，5B模型在720p下可单卡20FPS实时生成，核心架构开源。Mureka v9.5指令精准度从6.92提升至7.62。
推荐理由：Matrix-Game 3.5 用 Patch 级记忆实现长时一致性与实时交互，为具身智能数据生成与游戏环境演化提供了可参考的架构；Mureka 将音乐生成转向「版本化制作」，结合 Agent 控制多维度调整，让非专业创作者也能迭代作品。
通义实验室发布 Wan-Streamer v0.2，这是一款将“听、看、说、演”统一进单个 Transformer 的端到端全模态模型。其端到端响应延迟仅 550ms，输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS，并采用 Thinker-Performer 双通路架构在提升画质的同时维持了极低延迟。
推荐理由：通义实验室把实时视频交互延迟压到550ms，同时提升了分辨率，不是刷榜而是解决实际问题，对做数字人和实时助手的团队是个值得跟进的信号。
通义实验室发布 Wan-Streamer v0.2，端到端响应延迟 550ms（200ms 模型延迟 + 350ms 网络延迟），输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS。
推荐理由：550ms端到端延迟把实时视频对话从拼接流水线推入单模型交互循环，原先因响应太慢而无法沉浸的口语陪练与面试模拟，开始具备自然对话的交互基础。
月之暗面推出迄今最强模型 Kimi K3，拥有 2.8 万亿参数和 100 万 Tokens 上下文窗口。该模型在 Frontend Code Arena 中以 1679 分超越 Claude Fable 5 位居第一，在 7 个前端领域中的 6 个排名 #1。API 定价为每 100 万 Tokens 输入 2 元（缓存命中）或 20 元（缓存未命中），输出 100 元。
推荐理由：Kimi K3 的 2.8T 参数和 100 万上下文不是数字游戏，前端跑分实打实地压过 Claude Fable 5，七个子领域拿六个第一，这对做前端和长文档处理的人是个明确信号，可以下场试了。
月之暗面发布 Kimi K3，参数量达 2.8 万亿，支持百万上下文，将于 7 月 27 日全面开源。该模型在 AA 智能分数中排名第三，并在 BrowseComp、Automation Bench 和 SpreadsheetBench 2 三项 Agent 评测中取得第一。
推荐理由：国内首个 3 万亿参数开源模型，卡兹克的深度实测表明它在 Agent 和前端审美上表现惊艳，整体能力已能与 GPT-5.6 Sol 掰手腕，虽然推理成本可能不低，但值得开发者尽快体验。
Moonshot AI 发布 PerceptionBench，一个从 40 多个现有基准中模型实际失败案例归纳出的视觉感知基准，包含 10 项原子感知能力和 3000 道验证题。所有测试模型准确率均未超过 60%，且大量正确答案在重复提问时无法复现，表明模型更多是猜测而非真正感知。PerceptionBench 旨在精确诊断多模态 AI 的视觉感知断裂点，推动其实现忠实、一致的视觉理解。
推荐理由：这是一个把视觉感知拆成原子能力的基准，所有模型不及格，而且猜测多于感知的发现很扎心，做多模态的团队应该拿来测一下自家模型。