OpenAI 视频生成模型 Sora 正式上线 sora.com
OpenAI 的视频生成模型 Sora 上线,用户可在 sora.com 使用。支持生成最高 1080p、最长 20 秒的视频,可选宽屏、竖屏或方形画幅,还可导入自有素材进行延展、重混和融合,或直接从文本生成全新内容。
推荐理由:原文给出了分辨率、时长和素材混用等具体使用参数,读者可以直接据此了解 Sora 的开放入口和实际能力范围。
OpenAI 的视频生成模型 Sora 上线,用户可在 sora.com 使用。支持生成最高 1080p、最长 20 秒的视频,可选宽屏、竖屏或方形画幅,还可导入自有素材进行延展、重混和融合,或直接从文本生成全新内容。
推荐理由:原文给出了分辨率、时长和素材混用等具体使用参数,读者可以直接据此了解 Sora 的开放入口和实际能力范围。
OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型,可接收文本、图像和视频输入并生成新视频,基于 DALL-E 和 GPT 模型的经验构建,旨在为人们提供更丰富的叙事和创作表达工具。
Runway 启动 The Hundred Film Fund,面向处于前期或后期制作阶段的 AI 辅助电影项目开放申请。基金规模 500 万美元(有望增至 1000 万),单项资助 5000 至 100 万美元以上,另提供 200 万美元 Runway 积分。Tribeca 电影节联合创始人 Jane Rosenthal、NVIDIA 高管等业界人士组成顾问委员会参与项目指导。
Runway 与 Lionsgate 达成首创性合作,基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型,供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑,双方未来计划向个人创作者开放模型授权。
推荐理由:Runway与好莱坞大厂达成首个定制模型合作,标志AI视频正式进入主流影视工业化流程
Runway 正式发布 Gen-3 Alpha Turbo API,开发者可将其视频生成能力集成至各类应用。目前采取分阶段开放策略,已向 Omnicom 等战略合作伙伴提供访问权限,现阶段主要面向大型团队和组织,未来几周将逐步扩大开放范围。
Runway 联合 Tribeca Festival 2024 于 6 月 8 日免费展映 AI 制作短片及音乐视频,覆盖剧本、剪辑、视效到音效设计全流程,映后设导演 Q&A 环节,探讨 AI 工具如何重塑电影叙事。
Runway 与 Musixmatch 达成合作,后者超100万艺术家社区将可使用 Gen-2 等模型制作动态歌词视频。结合 Musixmatch 歌词语义提取与 Runway 视频生成能力,让音乐视频创作更快、更独特且易于获取,帮助艺术家与全球听众建立更深连接。
Runway 与 Media.Monks 达成合作,为这家 2023 年度 Adweek AI 代理商提供生成式 AI 技术支持,帮助其优化内容创作流程、扩大创意产出规模并节省制作时间。Media.Monks 为 S4Capital 旗下数字营销品牌,此次合作旨在通过 AI 技术重新定义创意表达边界。
LlamaIndex 发布教程,演示如何用 LlamaIndex Python API 结合 OpenAI GPT4V 和 LanceDB 构建视频多模态 RAG 系统。
OpenAI 发布视频生成模型 Sora,可生成一分钟高保真视频。模型基于 Transformer 架构处理视频和图像潜在编码的时空 patch,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型。OpenAI 认为扩展视频生成模型是构建物理世界通用模拟器的一条有前景的路径。
推荐理由:原文给出 Sora 的技术路线与能力边界,读者可以据此理解视频生成模型作为物理世界模拟器的思路。
Runway 与 Getty Images 联合推出 RGM(Runway-Getty Images Model),为企业提供可定制的视频生成基座模型。企业可用自有专有数据微调,生成符合品牌风格的视频内容,面向好莱坞、广告、媒体等行业。该模型将在未来几个月内开放商用。
Runway 启动为期三个月的带薪 Acceleration Program,招募非传统背景人才,强调技术实力、快速学习能力与探索勇气优于正规学历。参与者将加入跨学科团队参与 AI 项目实战,并获得资深研究员的持续指导。
Runway Gen-2 视频生成模型正式接入 Canva Magic Media 应用,向 1.5 亿月活用户开放。用户可直接在 Canva 中调用 Gen-2 完整功能,无需切换平台即可为设计添加 AI 视频生成能力。
开发者基于 LlamaIndex 与 D-ID 构建了一套代码库知识转移(KT)自动生成系统,可将代码解析为独立代码块,用 LlamaIndex 的 SummaryIndex 生成整体摘要与逐块详解,再经 D-ID 结合微软文本转语音合成讲解视频,并与对应代码片段拼接。
导演组合 Vallée Duhamel 使用 Runway 制作短片《After Light》,将四年前拍摄的舞者档案素材与生成式 AI 结合,创造出超现实视觉风格。作品源于对 AI 的焦虑,通过实际使用工具探索其可能性,实现了以往因预算限制无法完成的创意。与传统动画不同,Runway 的随机输出带来意外惊喜(如人物着火的画面改变叙事),工作流程更灵活有机,无需深厚技术背景即可实现复杂视觉效果。
Runway 获1.41亿美元融资,用于扩展多模态AI研究及团队招聘。公司此前推出Gen-1和Gen-2视频生成模型,其AI工具正被财富500强企业使用以优化创作流程。
Runway 宣布与 AWS 达成多年战略合作,AWS 成为其首选云提供商以扩展高性能计算集群。Runway 已将全部模型开发与训练迁至内部,加速新模型训练与产品部署。双方此前在 AWS 上合作完成了多模态视频生成模型 Gen-2 的训练,该模型支持通过文本、图像或视频片段生成新视频,代表了视频生成 AI 的重大进步。
Runway 完成 5000 万美元 Series C 轮融资,Felicis 领投,Amplify Partners、Lux Capital 等现有投资方及 Madrona 跟投,Vercel、Replit、Airtable、PyTorch 等 CEO 参与天使投资。资金将用于研发下一代创意工具、推进多模态 AI 系统,并扩招工程、研究和 GTM 团队。Runway 成立于 2018 年,其创意套件包含 30 余个 AI Magic Tools,已服务 CBS、Publicis、New Balance 等企业。
Runway 完成 3500 万美元 B 轮融资,Coatue 领投,Amplify Partners 等现有投资方跟投。资金将用于开发自动化视频编辑工具,降低视频创作门槛,帮助更多用户通过视频讲述故事。
Runway 获 850 万美元 A 轮融资,Amplify Partners 领投,Lux Capital 与 Compound Ventures 跟投。这家成立近两年的机器学习创意工具公司起源于 NYU Tisch 艺术学院,现正扩招团队。
Runway 从2019年的机器学习平台发展为新一代创意工具,依托生成式机器学习、新分发渠道和Web技术三大驱动力,已支持用户训练超5万个AI模型、上传2400万资源。平台通过AI视频编辑、绿幕工具等技术缩小好莱坞与TikTok创作者的内容差距,服务IBM、Google及RISD等院校,致力于让创意实现从想法到执行的即时转化,重新定义AI时代的创作流程。
将机器学习比作19世纪颜料管的发明。当年颜料管让户外写生成为可能,推动印象派革命;如今机器学习有望类似地释放艺术创造力,但现有工具对非技术背景艺术家门槛过高,如同当年研磨颜料的复杂工艺。作者呼吁开发更友好的机器学习工具,让艺术家无需编写底层代码即可实验,实现技术民主化。