跳到正文
9月30日周三
9月28日周一
9月25日周五
9月5日周六
  1. Rohan Paul57

    Visko 公布 Orbis 1.0 的评测结果:在自动化基准中于 DOVER 美学与技术和 VideoAlign 视觉与运动质量得分最高,并在 VideoPhy-2、Physics-IQ、VBench-2.0 Physics 三个物理合理性协议领先;在随机化人类 Arena 研究中总偏好和时间稳定性均排第一。

    引用Visko Platform@viskoai

    Our evaluation results for Orbis 1.0: Across automated benchmarks, Orbis scores highest on DOVER aesthetic and technical quality, and on VideoAlign visual and motion quality. It also leads three physical-plausibility protocols: VideoPhy-2, Physics-IQ, and VBench-2.0 Physics. In a randomized human Arena study of state-of-the-art real-time interactive video systems, Orbis ranked first in overall preference and first in temporal stability, the prerequisite for long-form generation. Full report: https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

8月28日周五
8月24日周一
  1. Apple Machine Learning Research50

    Beyond Visual CoT:Internalized Visual Thinking 实现主动视频推理

    多模态大语言模型常用视觉思维链(Visual CoT)进行空间、时间与具身环境推理,但生成中间推理图像带来大量推理开销。新提出的后训练框架 Internalized Visual Thinking(IVT)在训练阶段内化视觉思考,推理时直接进行文本预测与优化,从而在不增加推理成本的前提下实现主动视频推理。

8月12日周三
7月22日周三
  1. Apple Machine Learning Research55

    CalibAtt:无需训练的稀疏注意力方法,将文生视频速度提升至 1.58 倍

    Apple 与特拉维夫大学联合提出 CalibAtt,一种无需训练的校准稀疏注意力方法,通过离线识别 token 间可跳过的低分连接并编译为优化操作,在推理时跳过无关计算。在 Wan 2.1 14B、Mochi 1 及少步蒸馏模型上,CalibAtt 实现最高 1.58 倍端到端加速,在保持视频质量和文本-视频对齐的同时优于现有免训练方法。

7月21日周二
7月7日周二
  1. Apple Machine Learning Research51

    通过先进模态条件与交互驯服文本到有声视频生成

    苹果与中国人民大学联合研究聚焦文本到有声视频生成任务,提出Cross-Referential Rewriter(CRR)caption框架。该框架采用双agent管线:Semantic Checker提取有依据的语义锚点,Cross-Modal Rewriter生成解耦的TV和TA caption对,消除模态干扰并弥合密集训练caption与简洁用户提示之间的差距,解决了联合音视频训练中的文本条件瓶颈与跨模态特征融合不清两大关键挑战。

7月3日周五
  1. Apple Machine Learning Research56

    VideoFlexTok:可变长度粗到细视频分词

    VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重建。相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。在类别和文本到视频生成任务中,VideoFlexTok以1.1B参数(5.2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍。

    推荐理由:把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

6月14日周日
  1. The Decoder:AI News45

    微软研究院 Mirage:赋予视频生成持久空间记忆,不遗忘“转角后的场景”

    微软研究院与多所高校联合开发的视频世界模型 Mirage 将场景信息直接存储在潜在空间中,而非基于像素的点云。这大幅降低了计算时间和图形显存消耗,同时能在长镜头移动中保持场景空间一致性。不过,该模型目前仍无法可靠地跨片段跟踪运动物体。

6月11日周四
  1. 公众号:龙猫LongCat65

    美团 LongCat 提出 WBench:首个交互式视频世界模型多轮评测基准

    美团 LongCat 团队提出 WBench,这是首个面向交互式视频世界模型的系统性多轮评测基准,包含 289 个测试案例和 1058 个交互轮次,覆盖导航、主体动作、事件编辑和视角切换四种交互方式。

    推荐理由:将导航能力独立归因于空间状态表示,揭示连续交互位姿误差累积是迭代生成范式的结构性缺陷,为评估与改进交互式世界模型提供了新框架。

6月3日周三
  1. Saining Xie67

    研究团队推出VSTAT基准测试,用于评估多模态大语言模型(MLLMs)在视频中追踪动态状态的能力。测试任务看似简单,包括计数杯子、识别键入的文字、统计翻页次数等,人类可以轻松完成,但当前MLLMs表现欠佳。该测试旨在推动视觉状态跟踪这一前沿方向的发展,解决模型从不完整、有噪声的视觉观察中建立和更新内部世界状态的核心挑战。

    引用Sihyun Yu@sihyun_yu

    Can MLLMs actually track what's happening in a video? Introducing VSTAT 🎯, our new benchmark for visual state tracking. The tasks are simple: count cups, read typed words, count page flips. Humans solve them easily. MLLMs don't. https://vision-x-nyu.github.io/vstat-site/ 🧵 [1/11]

6月2日周二
5月28日周四
5月26日周二
  1. IT之家·人工智能62

    小米汽车发布 Xiaomi Auto World Model 世界模型全新框架:重建 + 生成一体化,主流基准测试全面 SOTA

    小米汽车发布 Xiaomi Auto World Model 框架,首次将三维重建与视频生成深度耦合,打破行业独立拆分的技术路线。该框架在 Waymo、nuScenes 等主流基准测试中全面取得 SOTA,并已在合成数据生成(已交付超10万 clips 数据)、仿真测试、辅助驾驶学堂三大场景落地。

5月14日周四
  1. CMU:Machine Learning Blog63

    教视觉-语言模型说“电影语言”

    研究团队与百余名专业创作者历时一年,构建了一个视频描述生成流程,其核心在于扩展精细化的人类-AI协同监督,而非单纯扩大模型规模。该研究(入选CVPR 2026亮点论文)指出,当前主流视频生成模型在理解和生成具有电影感的专业运镜(如希区柯克式滑动变焦、精确的焦点转移或荷兰角镜头)时存在明显不足,常产出通用或焦点错误的画面。这项工作揭示了一条通过提升监督质量来增强模型“电影语言”表达能力的新路径。

    推荐理由:这篇CVPR 2026 Highlight的博客版很有意思,它用100多个专业电影人来标注视频,教VLM学会推拉摇移的镜头语言,不是又多一个数据集,而是提醒我们:高质量的人工标注可能比堆模型更重要。

2024年12月9日周一