UniNote:小红书等提出统一多模态嵌入模型,融合表征与排序
小红书联合上海交大、华中科大、北理工提出 UniNote,将多模态表示学习与排序优化融合于单一嵌入模型,替代传统“Embedder + Reranker”两阶段管道,在单次嵌入传递内实现相当性能并大幅降低延迟。
小红书联合上海交大、华中科大、北理工提出 UniNote,将多模态表示学习与排序优化融合于单一嵌入模型,替代传统“Embedder + Reranker”两阶段管道,在单次嵌入传递内实现相当性能并大幅降低延迟。
Black Forest Labs 推出多模态模型 FLUX 3,支持带原生音频的视频生成、图像生成与动作预测。官方称其目标是让多模态 Flow 模型成为视觉智能的骨干,并已公布相关能力与早期结果。
腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,由首席AI科学家姚顺雨统一管理。7月上线的Hy3大语言模型智能水平比肩参数规模2-5倍的旗舰模型,发布一周后总调用量较上一代Hy2增长超68倍。混元3D世界模型2.0(Hy World 2.0)已开源,支持文字、图片、视频输入生成3D世界,社区下载量超300万。
Black Forest Labs 以 Early Access 方式推出 FLUX 3 多模态基础模型,采用统一架构联合学习图像、视频和音频。该模型基于 Self-Flow 学习框架扩展,可在单次生成中输出最长 20 秒视频并附带原生音频,支持文生视频、图生视频、多镜头串联等任务。
同一件事,精选收录的是《Black Forest Labs 发布 FLUX 3 多模态基础模型,与 mimic 合作推出 FLUX-mimic 机器人模型》
阿里云开源发布文档解析模型 OvisOCR2,以 96.58 的综合得分在 OmniDocBench v1.6 上登顶,成为首个超越流水线方法的端到端模型。该模型基于 Qwen3.5-0.8B 后训练得到,采用端到端技术路线,可直接将文档图像输出为 Markdown 格式。项目以 Apache 2.0 许可证开源,兼容 vLLM 等主流推理框架。
本教程构建了一套完整的 OCR 工作流,在 GPU 上加载百度 3B 参数的 Unlimited-OCR 视觉语言模型,支持 bfloat16/float16 自动选择。管线包含两种推理模式:Gundam 模式(分块高细节)和 Base 模式(单视图更快),并通过 PyMuPDF 和 infer_multi() 扩展至多页 PDF 解析,全程保留长上下文生成、重复控制和结构化输出设置。
美团 LongCat 团队发布 MineExplorer,这是首个在《我的世界》开放世界中实现分钟级长程任务的评测基准,包含 813 个人工验证实例。评测 18 款顶级多模态大模型发现,最强模型 Claude-Opus-4.6 整体任务成功率仅 41%,从 1 跳任务的 77% 骤降至 4 跳任务的 12%,近 60% 的失败源于导航失败。MineExplorer 已全面开源。
推荐理由:18 个顶级多模态模型在 Minecraft 里全翻车,每多一层隐藏前置条件成功率就砍半,搞具身智能的该看看感知和行动之间还隔着什么。
Macaron V1是首个公开的GLM-5.2后训练模型,采用MoL框架冻结基座模型、仅在LoRA空间训练,并推出A2UI插件与Taste Skill,主打前端与UI生成能力。
Introducing FLUX 3. One multi-modal model for Image, Video, Audio and Action-Prediction. Creations are truer to life in every kind of style. FLUX 3 Video is now available in early access (link below). Jointly trained in one unified architecture, our model can be extended to predict actions for robotics. See our work with mimic and Audi in the thread.
ChatGPT Voice is now in the desktop app. Control your computer and direct multiple agents running in ChatGPT Work or Codex, using just your voice. It's powered by GPT-Live, so it can speak, listen, and coordinate work in the app at the same time. Rolling out globally today on macOS and Windows to Plus, Pro, Business, Edu, and Enterprise plans.
即日起,Claude 语音模式在 Opus、Sonnet 和 Haiku 上运行,并支持连接 Gmail、Slack 等工具及更多语言。用户可在对话中切换模型,语音模式默认沿用上次文本聊天使用的模型。该功能面向所有用户开放 beta 测试,免费版可使用 Haiku 及一个连接工具,付费版可访问更多模型和全部连接工具。
推荐理由:Claude 语音模式终于能调用最强模型了,深度思考不再受限于轻量版,加上工具集成和多语言,移动端从随口问答升级为实时脑力伙伴,值得立即上手。
Anthropic 周四更新 Claude 语音模式,用户现可选择 Opus、Sonnet 和 Haiku 模型,系统默认使用用户在文本聊天中最后使用的模型的最快版本。新语音模式支持更长对话,并能调用 Gmail、Google Calendar 等应用执行操作。该功能以 Beta 版面向所有平台用户开放,免费用户仅限使用 Haiku 模型并连接一个应用。
德国 AI 公司 Black Forest Labs 发布多模态基础模型 Flux 3,可同时从图像、视频和音频中学习,首次支持生成带原生音频、最长 20 秒的视频。
Microsoft AI 发布 MAI-Image-2.5-Pro 和 MAI-Voice-2-Flash 两款新模型公开预览版。
推荐理由:原文给出两款新模型的定价、性能数字和已落地的产品场景,读者可以据此评估在质量速度成本曲线上的选型。
美团 LongCat 团队构建 MineExplorer,这是首个在开放世界中做到分钟级长程任务的评测基准,含 813 个人工验证实例(1-hop 到 4-hop)及规则化里程碑自动评测框架。
推荐理由:感知强于推理、导航失败占比近60%,把具身智能的瓶颈清晰地拉回到规划能力,而非感官或资源。
腾讯上线首个设计Agent“设计妙境 Miora”,覆盖品牌设计、影视创意、电商广告、互动游戏、网页应用等方向。实测以宠物品牌“爪间PAWROOM”为案例,从Logo、品牌手册、产品外观、3D建模(调用Hunyuan3D 3.1)、IP设计、App UI到30秒TVC和真人带货视频全流程跑通,支持记忆偏好、框选编辑和将整套流程存为可复用的Skill。
面壁智能宣布其 MiniCPM 系列端侧大模型深度赋能三星 Galaxy AI,为 Galaxy Z Fold8 和 Galaxy Z Fold8 Ultra 提供文本理解与多模态感知能力。这是国产端侧大模型首次进入国际头部手机厂商的全球旗舰产品线。
Google 发布 Gemini 3.6 Flash 和 Gemini 3.5 Flash-Lite 正式版。3.6 Flash 在复杂智能体和多模态任务上性能更强,输出 token 价格降至 $7.50/1M,支持 1M token 上下文窗口和 Computer Use 工具。
推荐理由:Gemini 3.6 Flash 降本增效,3.5 Flash-Lite 主打低成本高速,弃用 temperature 等参数是个硬变更,使用 Gemini 的开发者必须检查迁移。
7月22日,三星在伦敦发布Galaxy Z Fold8、Fold8 Ultra与Z Flip8折叠旗舰,面壁智能MiniCPM系列端侧大模型深度赋能三星Galaxy AI,支持文本理解与多模态感知,全程本地运行。这是国产端侧大模型首次进入国际头部手机厂商的全球旗舰产品线,带来更快响应与更强隐私保护。
7月22日三星伦敦Galaxy Unpacked发布会上,面壁智能MiniCPM系列端侧大模型深度赋能三星Galaxy AI,支持文本理解与多模态感知,全程本地运行。这是国产端侧大模型首次进入国际头部手机厂商的全球旗舰产品线。搭载该AI的新机包括Galaxy Z Fold8、Galaxy Z Fold8 Ultra与Galaxy Z Flip8。
This is insanely cool. Set this up in Grok Build! Unity shipped a free terminal Unity CLI for coding agents, CI, and custom tooling. MCP stays supported, the CLI includes MCP Mode for existing MCP agents, and Unity says both the CLI and MCP are free with no concurrency limits on the MCP server. Dan got Grok 4.5 via Grok Build to install the CLI, build a 3D scene, and export a video. "Same session shipped a playable macOS Island Explorer with Poly Haven CC0 trees, rocks, and cliffs, Crest FFT ocean with shoreline foam, irregular hills, grounded props, FPS walk, and a half-size performance pass when the scene got heavy." -- Daniel Farinax
三星与Google、Gentle Monster、Warby Parker合作开发的智能眼镜首次公开真机,采用高通Snapdragon AR1 Gen 1芯片,单次充电续航达9小时,充电盒可额外提供7次充电。眼镜支持Google Gemini或三星Bixby,具备消息摘要、实时翻译、导航引导和摄像头画面分析功能。产品定位“高端”,将于今年秋季上市,但具体价格和发售日期尚未公布。
Black Forest Labs 发布多模态模型 FLUX 3,面向视频领域,原生支持音频、图像生成与动作预测。该模型旨在成为视觉智能的骨干,目前官方已展示其能力与早期结果。
推荐理由:Black Forest Labs 把图像、视频、音频拉通到一个模型里,这比单纯提升画质更有想象力,但目前只有一句简介,像个预告片,想真评估的还得等技术细节。
三星在 Galaxy Unpacked 2026 夏季发布会上推出首款 AI 眼镜 Galaxy Glasses,搭载骁龙 AR1 Gen1 芯片,支持谷歌 Gemini。该眼镜无显示屏,通过音频和摄像头提供实时翻译、导航、消息摘要等功能,单次充电续航最长 9 小时,充电盒可额外提供最多 7 次满电充电。
三星 Galaxy Z Fold8 Ultra、Fold8 及 Flip8 首发搭载 Gemini Intelligence 1,其任务自动化功能从少数应用扩展至超过 40 款,支持购物、订餐、预订旅行等,并新增屏幕理解与复杂图像解析能力。
Qwen-Image-3.0上线,支持最高4.5k token输入、12种语言、20多种字体,以及多图融合、图中图和图片编辑。实测显示,其在中文长文本生成、多语言混合排版、UI设计、多图融合与图片编辑等19个场景中均能稳定输出,文字不崩且信息对应准确,图片质量已能与GPT Image2媲美。该模型在国内可直接使用,速度快且价格不贵。
推荐理由:Qwen-Image-3.0 的实测效果在中文文字稳定性和多图融合上可以和 GPT Image2 掰手腕,看完这些案例,你会意识到国产图像模型已经能务实替代一部分工作流了。
创作者@澜安自2025年下半年接触AIGC,因可灵对人物微表情、细腻动作和长镜头稳定性的表现,开始探索AI呈现影视剧般自然复杂情绪的可能。他把情绪拆解为眼神变化、嘴角颤动、呼吸节奏和肢体反应等外在细节,再通过镜头、光影和节奏让表演成立,并分享了从剧本、分镜、提示词到可灵生成的完整创作方法。
小红书技术团队开源 BigMac,一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它以 LLM 流水线为主干,在不打乱执行顺序的前提下嵌入编码器和生成器计算,相比基线实现 1.08x-1.9x 加速,同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
同一件事,精选收录的是《小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿》
小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。
推荐理由:通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
2026世界人工智能大会现场,面壁智能与吉利人工智能中心联合发布具身智能体框架RoboHarness,基于该框架的机器人已在吉利生产仓储场景实现常态化作业。该框架基于面壁2026年4月发布的EmbodiedClaw开发,集成VLM多模态大模型与VLA模型,并内置数据闭环设计,支持自主决策与失败重试恢复。双方还依托吉利星睿智算中心(综合算力23.5 EFLOPS)共同训练并推出全新VLA具身模型。
生数科技联合创始人骆怡航在WAIC 2026提出,通用世界模型需像大语言模型一样建立统一基座,实现感知、预测与行动的闭环。公司围绕该基座构建“一体两翼”产品体系:Vidu Q系列面向数字内容生成,Vidu S系列推动实时交互,Motubrain面向物理世界机器人控制。世界模型正从学术研究走向产业中心,成为AI理解并行动于真实世界的关键路径。
BREAKING: Kimi K3 by @Kimi_Moonshot is 1st overall on 3D Design with an Elo of 1450. This is a 6 position and 108 Elo jump from @Kimi_Moonshot's previous model, Kimi K2.6. This performance puts Kimi K2.6 82 Elo ahead of Claude Fable 5 by @AnthropicAI in 2nd and 87 Elo ahead of GLM 5.2 by @Zai_org in 3rd. Congratulations to the @Kimi_Moonshot team on this accomplishment!
Holy shit, SenseNova-Vision just dropped and it's wild. One single model that handles detection, segmentation, depth, surface normals, OCR, keypoints, 3D recon—literally everything—through plain English prompts. No more chaining 5 different specialist tools. It beats the recent unified vision attempts on key benchmarks and feels like the GPT moment for vision. Fully open source: weights, data, code, demo, paper. This is vision becoming native to foundation models. Try @SenseTime_AI now 👇🏿 GitHub: https://github.com/OpenSenseNova/ HF: https://huggingface.co/sensenova/Sens Paper: http://arxiv.org/abs/2607.06560
腾讯设计Agent平台Miora今日全面开放,无需邀请码即可使用。该平台由WorkBuddy团队打造,提供品牌设计、影视创意等五大场景模式,支持自定义多模态模型和Agent推理深度,并内置Skill市场与记忆系统。
推荐理由:腾讯用WorkBuddy的底子做了设计Agent,记忆系统和Skill市场让设计流程有了Agent的基因,设计师和产品人可以上手试试。
中国银联7月20日宣布推出智能体银行卡解决方案,携手15家商业银行将大模型算力、智能体会员、AI办公学习工具等纳入银行卡权益体系。平安银行、浦发银行、交通银行等已率先发卡,其中平安银行联合腾讯云推出“AI智算卡”。银联正推动支付能力延伸至车载、AR、MR眼镜等泛终端,航旅纵横、滴滴等将作为首批试点商户支持一键智能支付。
我们正在推出三款新模型,旨在让 AI 智能体在大规模应用中更快、更智能、更经济: 🔵 Gemini 3.6 Flash:它比 Gemini 3.5 Flash 使用更少的模型 token,就能以完全相同的成本提供更高质量的工作成果。 🔵 Gemini 3.5 Flash-Lite:一款快速、经济高效的选择,适用于处理文档和智能体搜索等日常任务。 🔵 Gemini 3.5 Flash Cyber:一款专为网络安全打造的模型,用于发现并修补关键软件漏洞。
Netflix、Spotify、YouTube 和 TikTok 等主流娱乐应用正借助 AI 加速功能趋同,从单一格式(音乐、视频、播客)向覆盖观看、收听、游戏、购物的“万能娱乐应用”转型。AI 使跨格式内容推荐和个性化更精准,并加速了新内容领域的构建与上线。这场竞争的核心不再是格式,而是谁能成为用户消磨时间的首选应用。
Google 推出 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款模型,同时确认旗舰模型 3.5 Pro 仍在与合作伙伴测试中,Gemini 4 已开始预训练。