Hugging Face 用 Diffusers 支持 VQ-Diffusion:几行代码运行离散扩散模型
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件扩散模型,其隐空间由离散向量集合构成。
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件扩散模型,其隐空间由离散向量集合构成。
Eugene Yan 发文梳理文生图技术的四个关键概念:扩散、文本条件、分类器引导和潜空间扩散。文章从 2015 年扩散论文和 DDPM 讲起,覆盖 CLIP、DALL·E、DALL·E 2、Imagen 到 Stable Diffusion,并附上作者自己复现 DDPM 时测得的噪声增减权重等实验细节。
Hugging Face 与 Jonathan Whitaker 合作推出的免费 Diffusion Models Class 课程将于 11 月 28 日上线,内容涵盖扩散模型的理论与应用。
Hugging Face 发布教程,基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置,并提示 🧨 Diffusers 提供官方训练脚本。
推荐理由:原文基于多组实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可帮助读者降低过拟合并提升生成质量。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方教程,演示在 TPU 上用 JAX/Flax 跑 Stable Diffusion,8 卡并行约 7 秒生成 8 张图,可直接复现。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词汇、拟声词与专有名词并生成日式风格图像。
Hugging Face 宣布 AutoTrain 新增图像分类任务,用户无需写代码或配置即可训练图像分类模型。流程为在 AutoTrain 创建项目、上传或选择 Hub 数据集、设定候选模型数量后开始训练;用 5 个候选模型训练少于 500 张图片免费。
Hugging Face 发布 diffusers 0.3,为扩散模型库新增图生图、Textual Inversion、实验性 inpainting、ONNX 导出和 macOS M1/M2 推理支持等功能。优化后 Stable Diffusion 显存占用降至 3.2GB,代价是约 10% 的速度损失;社区还贡献了视频生成、可解释性工具和日语、动漫方向的微调模型。
推荐理由:原文梳理了 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新功能,开源图像工作流的使用者可以对照更新自己的用法。
OpenAI 为 DALL·E 推出 outpainting 功能,可在原图之外继续扩展画面,支持任意尺寸的图像创作,用于延展创意并讲述更完整的故事。
Hugging Face 发布教程,讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。
推荐理由:来自 Diffusers 团队的第一手教程,同时讲清 latent diffusion 三大组件原理,代码示例可直接复用于文生图管线。
OpenAI 宣布 DALL·E 开放测试,未来几周内将从候补名单邀请 100 万人使用。用户每月可获得免费生成额度,额外额度按 115 次生成 15 美元的价格购买。
推荐理由:原文明确了邀请规模和付费定价,读者可以了解 DALL·E 测试版的获取方式与使用成本。
处理图像生成文本(如图像描述和视觉问答)的技术已有多年研究。传统方法通常依赖目标检测网络作为视觉编码器来捕捉视觉特征,再通过文本解码器生成文字。该内容聚焦于一种特定的技术路径,即扩展预训练的通用语言模型,使其具备处理视觉信号的能力,从而完成视觉语言任务。
Hugging Face 发布教程,基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现,用 PyTorch 逐步拆解并实现去噪扩散概率模型。
推荐理由:原文从数学推导到完整 PyTorch 代码逐段拆解 DDPM,读者可以照此动手实现一个可训练的扩散模型。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户已累计生成超 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
OpenAI 发布 DALL•E 2 研究版本,支持通过自然语言指令生成和编辑图像。作者认为这标志着计算机界面新趋势——自然语言交互,并指出与 Copilot 不同,DALL•E 2 能独立完成完整作品,可能率先冲击创意工作而非体力劳动,预示 AI 对劳动力市场的潜在影响。团队计划今年夏天正式产品化,当前采用渐进式部署策略以评估风险。
Hugging Face 发布教程,讲解如何使用 Transformers 库对 ViT 进行微调以完成图像分类任务。
扩散模型是一种新型生成模型,具备灵活学习任意复杂数据分布的能力,并可对分布进行解析评估。近期研究表明,扩散模型能够生成高质量图像,其性能已与最先进的GAN相竞争。该文章自发布以来持续更新,陆续加入了无分类器引导、GLIDE、unCLIP、Imagen、潜在扩散模型、渐进蒸馏、一致性模型等新方法与模型架构内容。
OpenAI 宣布训练出神经网络 DALL·E,可根据自然语言文本描述生成图像,覆盖广泛可用自然语言表达的概念。
推荐理由:OpenAI 官方宣布文本生成图像模型 DALL·E,读者可据此了解文生图方向的早期源头。
本文系统梳理了自编码器系列模型的演进历程。自编码器通过瓶颈神经网络结构学习高维数据的压缩表示,其副产品是可用于降维、特征提取等任务的潜在编码。文章重点介绍了变分自编码器(VAE)及其关键变体Beta-VAE,它们通过引入概率框架和解缠约束,显著提升了生成能力。此外,还涵盖了去噪、稀疏等经典改进模型,并补充了后续发展如VQ-VAE与TD-VAE的相关内容。
OpenAI 推出 Glow,一种使用可逆 1x1 卷积的可逆生成模型,扩展了此前可逆生成模型的工作并简化了架构。模型可生成逼真的高分辨率图像,支持高效采样,并能发现可用于操纵数据属性的特征。OpenAI 同时发布了模型代码和在线可视化工具供探索和构建。
生成对抗网络(GAN)在模拟图像、语言和音乐等现实世界内容的生成任务中成果显著,但其训练过程常因不稳定和难以收敛而受阻。Wasserstein GAN(WGAN)针对这一问题,引入 Wasserstein 距离作为平滑度量,用于优化概率分布间的距离测量,从而提升训练稳定性并促进模型收敛。该研究深入解析了 GAN 的数学原理,并展示了 WGAN 如何通过改进度量方式克服 GAN 的固有训练缺陷。