LlamaIndex 发布多模态 RAG 支持能力，新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding（CLIP）和 MultiModalVectorStoreIndex 等抽象，可对文本和图像统一索引与检索。
推荐理由：原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例，读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。
开发者基于微软 KOSMOS-2、Google PaLM API 和 LlamaIndex 搭建了一个 Streamlit 多模态原型，作为 ChatGPT 视觉能力的替代方案。
OpenAI 宣布 ChatGPT 新增看、听、说能力。用户可向 ChatGPT 展示图像并进行对话讨论，也可用语音与它交流。
Runway 获1.41亿美元融资，用于扩展多模态AI研究及团队招聘。公司此前推出Gen-1和Gen-2视频生成模型，其AI工具正被财富500强企业使用以优化创作流程。
OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型，在多项专业和学术基准上达到人类水平表现，但在许多现实场景中仍不及人类。
推荐理由：官方原文明确了 GPT-4 的多模态输入形态和基准表现定位，可作为了解该模型能力边界的直接信源。
OpenAI 发布 Point-E，一个根据复杂提示词生成 3D 点云的系统。抓取未能获取正文，更多细节以原文链接 https://openai.com/index/point-e 为准。
Runway 完成 5000 万美元 Series C 轮融资，Felicis 领投，Amplify Partners、Lux Capital 等现有投资方及 Madrona 跟投，Vercel、Replit、Airtable、PyTorch 等 CEO 参与天使投资。资金将用于研发下一代创意工具、推进多模态 AI 系统，并扩招工程、研究和 GTM 团队。Runway 成立于 2018 年，其创意套件包含 30 余个 AI Magic Tools，已服务 CBS、Publicis、New Balance 等企业。
OpenAI 发布 DALL•E 2 研究版本，支持通过自然语言指令生成和编辑图像。作者认为这标志着计算机界面新趋势——自然语言交互，并指出与 Copilot 不同，DALL•E 2 能独立完成完整作品，可能率先冲击创意工作而非体力劳动，预示 AI 对劳动力市场的潜在影响。团队计划今年夏天正式产品化，当前采用渐进式部署策略以评估风险。
OpenAI 发现 CLIP 中存在对同一概念以字面、符号或概念形式呈现时都会响应的多模态神经元。这一现象可能解释 CLIP 对概念的特殊视觉呈现仍能准确分类的原因，也是理解 CLIP 及类似模型习得的关联和偏差的重要一步。
OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准，读者可了解其与 GPT 系列零样本思路的关联。
Runway 从2019年的机器学习平台发展为新一代创意工具，依托生成式机器学习、新分发渠道和Web技术三大驱动力，已支持用户训练超5万个AI模型、上传2400万资源。平台通过AI视频编辑、绿幕工具等技术缩小好莱坞与TikTok创作者的内容差距，服务IBM、Google及RISD等院校，致力于让创意实现从想法到执行的即时转化，重新定义AI时代的创作流程。
将机器学习比作19世纪颜料管的发明。当年颜料管让户外写生成为可能，推动印象派革命；如今机器学习有望类似地释放艺术创造力，但现有工具对非技术背景艺术家门槛过高，如同当年研磨颜料的复杂工艺。作者呼吁开发更友好的机器学习工具，让艺术家无需编写底层代码即可实验，实现技术民主化。