ElevenLabs 推出 Image & Video (Beta),整合视觉生成与音频创作
ElevenLabs 发布 ElevenLabs Image & Video (Beta),将图像和视频生成纳入其创作平台。
推荐理由:官方宣布音频平台扩展到图像与视频,整合多家视觉模型并在同一工作流完成配音和导出,可关注其统一创作流程的实际体验。
ElevenLabs 发布 ElevenLabs Image & Video (Beta),将图像和视频生成纳入其创作平台。
推荐理由:官方宣布音频平台扩展到图像与视频,整合多家视觉模型并在同一工作流完成配音和导出,可关注其统一创作流程的实际体验。
SGLang 推出 Diffusion 推理引擎,将高性能 LLM 服务架构扩展至视频与图像生成领域。该系统支持 Wan、Hunyuan、Qwen-Image、Flux 等主流开源扩散模型,在 H100/H200 GPU 上实现 1.2-5.9 倍加速。通过 ComposedPipelineBase 架构抽象与统一序列并行技术,提供 OpenAI 兼容 API、CLI 及 Python 接口,并与 FastVideo 合作覆盖从训练到部署的全流程。
Gemini 应用原生图像编辑功能迎来重大升级,用户现可通过更新后的工具以全新方式变换图像,获得更强大的创意编辑能力。
Together AI 宣布扩展模型库,通过 Runware 合作集成 20 多个视频模型(含 OpenAI Sora 2、Google Veo 3、Minimax Hailuo、Kling v2.1)和 15 个以上图像模型(含 Google Imagen 4.0 Ultra、Nano Banana、Qwen Image),共 40 多个。
推荐理由:Together AI 官方给出了 40 多个图像与视频模型的名称、时长和逐模型定价,开发者可据此评估能否用一个平台替代多家供应商。
Midjourney 启动第二轮高分辨率风格排名活动,改为单图排名模式以学习细节特征、改进风格系统。同期正在新增 TV 功能。
Microsoft AI 发布首个完全在内部开发的图像生成模型 MAI-Image-1,在 LMArena 文生图榜单上首次亮相即进入前十。模型擅长生成写实图像,如光影(反弹光、反射)和风景,兼顾速度与质量,便于用户快速迭代后再迁移到其他工具精修。
推荐理由:微软首次全自研图像生成模型上线 Bing Image Creator 和 Copilot,主打生成速度与写实光影,创作者可以据此尝试更快迭代。
Google 携手工业设计师 Ross Lovegrove 与 modem_works,利用 Gemini 及图像生成技术构建工具,将其标志性美学转化为全新家具设计概念。
inclusionAI 发布了 Ming-UniVision 的代码。该项目提出了一种创新的连续统一分词器,旨在联合处理图像理解与生成任务。该技术试图将视觉识别和图像合成整合进一个统一的框架内,通过连续化的表示来桥接两类不同性质的视觉任务,有望提升多模态模型的效率和协同能力。此次代码开源意味着相关方法将可供社区研究、复现与应用。
OpenRouter 现已上线 Gemini 2.5 Flash Image Preview,这是该平台首个图像生成模型,支持 SOTA 图像生成、角色一致性以及多图像输出。
OpenRouter 现已提供 Gemini 2.5 Flash Image Preview,这是平台上的首个图像模型。该模型具备 SOTA 图像生成能力,支持角色一致性(character consistency)和多图像输出(multi-image outputs)。
Gemini 2.5 Flash Image Preview 模型已在 OpenRouter 平台正式发布。该模型是首个在该平台上线的图像生成模型,具备当前最优的图像生成能力。其核心特性包括出色的角色一致性和支持多图像输出功能,为开发者与用户提供了新的图像生成工具选项。
Hugging Face 发布教程,介绍通过 Remote MCP server(https://huggingface.co/mcp?login)把 Claude 连接到 Hugging Face Spaces 生成图像,2025 年 10 月起需用 Add custom connector 方式添加。
推荐理由:教程给出了把 Claude 连接 Hugging Face MCP Server 调用 Krea 与 Qwen-Image 生成图像的具体步骤和适用场景。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 快速推理优化教程,结合 Flash Attention 3、torch.compile 和 FP8 量化,在 H100 上实现约 2.23x 提速。
推荐理由:原文给出可复现的 Flux LoRA 推理优化配方和实测延迟数据,覆盖 H100 与 RTX 4090 两种硬件场景,方法可直接迁移到自己的部署流程。
Mistral 宣布 Le Chat 上线多项新功能,包括 Deep Research 预览模式、基于 Voxtral 模型的语音模式、由 Magistral 推理模型驱动的多语言思考模式、按项目组织对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。
Modal 团队复盘其 QArt codes 服务的工程过程,通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO,同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由:Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径,evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
@jiacheng_chen_ 和 @sanghyunwoo1219 在基于3D的视觉合成方面的工作很棒(演示也很棒!)
Introducing BlenderFusion: Reassemble your visual elements—objects, camera, and background—to compose a new visual narrative. Play the interactive demo: https://blenderfusion.github.io/
The code and instruction-tuning data for MetaQuery are now open-sourced! Code: https://github.com/facebookresearch/metaquery Data: https://huggingface.co/collections/xcpan/metaquery-instruction-tuning-data-685b0f16d81ce54bcb7ea3a8 Two months ago, we released MetaQuery, a minimal training recipe for SOTA unified understanding and generation models. We showed that tuning few learnable queries can transfer the world knowledge, strong reasoning, and in-context learning capabilities inherent in MLLMs to image generation. With the training code now available, you can train MetaQuery yourself almost as easily as fine-tuning a diffusion model. We have also open-sourced our 2.4M instruction-tuning dataset. Sourced from web corpora, it offers diverse supervision beyond copy-pasting and unlocks many new exciting capabilities. Thanks @metaai for their support in making it open source!
Hugging Face 发布教程,讲解用 QLoRA 和 diffusers 库在单卡消费级硬件上微调 FLUX.1-dev,学习 Alphonse Mucha 画风。
推荐理由:原文给出完整训练配置、显存与耗时数据,读者可以照着在消费级 GPU 上复现 FLUX.1-dev 的 QLoRA 微调。
Modal 官方博客分享如何将 Black Forest Labs 的 FLUX.1-dev 在 Modal 上的自托管推理提速三倍,使 1024x1024 图像生成延迟从约 6.75 秒降至约 2.2 秒,达到与专有 API 竞争的三秒目标。
下周将和学生一起参加 CVPR,很期待。我们将在主会和多个研讨会及教程上展示我们的工作,包括这个👇
Join us for a full-day tutorial on Scalable Generative Models in Computer Vision at @CVPR in Nashville, on Wednesday, June 11, from 9:00 AM to 5:00 PM in Room 202 B! 👉 We are honored to have @sainingxie, @deeptigp, @thoma_gu, Kaiming He, @ArashVahdat, and @sherryyangML to speak at our tutorial! 👉 More details and the full schedule are available at: https://vision-x-nyu.github.io/scalable-vision-cvpr2025/ #CVPR2025
确实。对于文生图,@xichen_pan 有一个很好的总结支持这种解耦的设计理念:"把生成性的归给 diffusion,把理解的归给 LLMs。"
as expected, this matches findings in unified multimodal understanding and generation models by @sainingxie: frozen VLM might help you. https://xichenpan.com/metaquery/ https://t.co/yDEycR49M5
Goodfire Research 发布 Paint With Ember,一款通过直接操纵模型内部神经激活来生成和编辑图像的工具,同时开源了支撑该应用的 SAE 解释模型。
Hugging Face 发布 Diffusers 量化后端指南,对比 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 在 FLUX.1-dev 上把 BF16 加载内存约 31.447 GB 压缩到约 10.6 至 23.7 GB 的表现。
推荐理由:原文实测了 Diffusers 各量化后端在 Flux 上的内存和推理速度数据,读者可以按需求选后端并直接复用配置代码。
发布新一代生成式媒体模型 Veo 3 与 Imagen 4,以及专为电影制作打造的工具 Flow,支持更高质量的视频与图像生成及专业影视创作流程。
推荐理由:Google发布Veo 3与Imagen 4生成模型及电影制作工具Flow
Runway 开放 Gen-4 Image API,集成 References 功能,定价 $0.08/张。支持虚拟试衣、游戏资产生成、室内设计等场景,开发者可通过 bounding boxes 精确控制构图,将多模态生成能力接入自有应用。
OpenAI 将最新图像生成模型以 gpt-image-1 形式接入 API。开发者和企业可以在自己的工具和平台中直接构建专业级、可定制的图像生成功能。
推荐理由:原文说明 gpt-image-1 通过 API 开放,可帮开发者把可定制的专业级图像生成接入自有工具与平台。
OpenAI 开发者 Cookbook 发布教程,介绍如何使用 GPT Image 能力生成和编辑图像,并提供可运行的示例供开发者参考。
OpenAI 发布介绍视频,演示如何使用 4o 模型创建图像。视频展示了 4o 的图像生成功能的基本用法。
推荐理由:官方演示如何用 4o 模型生成图像,想上手该功能的开发者可以直接参照操作。
OpenAI 在 2025 年推出的这次发布为 GPT-4o 引入原生图像生成能力,包括更强的文字渲染和指令遵循。相关功能可通过 ChatGPT Images 2.5 使用。
推荐理由:原文给出 GPT-4o 原生图像生成的核心能力变化和 ChatGPT Images 2.5 入口,可据此了解该功能如何用于生成场景。
FireRedTeam 在 GitHub 发布 LayerDiffuse 的 Flux 版实现(LayerDiffuse-Flux),训练了适配 Flux 的透明 VAE 和 LoRA 微调,用于生成透明图像。
Grok 推出图像生成功能,支持通过自然语言指令直接创建图片。该功能已向 X 平台用户开放,标志着这款 AI 助手从文本交互向多模态能力扩展,用户可在对话中直接生成并编辑视觉内容。
推荐理由:xAI发布Grok图像生成功能,拓展多模态应用场景
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集 open-image-preferences-v1。
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进,样本质量可与领先的扩散模型相当,且只需两步采样。
FireRedTeam 发布 StoryMaker,一个个性化文生图方案,在多角色场景中不仅保持人脸一致性,还保持服装、发型和身体的一致,可用一系列图像构建故事。模型权重于 2024/09/02 发布,随后放出技术报告和训练代码,权重可从 Huggingface 下载(RED-AIGC/StoryMaker),基于 SDXL pipeline,使用时需手动下载 buffalo_l 人脸编码器。
FireRedTeam 发布 Target-Driven Distillation(TDD),一种一致性蒸馏方法,可让扩散模型仅用 4-8 步生成高细节图像,论文被 AAAI25 接收。核心设计包括目标时间步选择、解耦引导,以及可选的非等距采样和 x0 clipping;项目开源了 SDXL、FLUX.1-dev 的 LoRA 权重和训练/推理代码,并提供了与 LCM、PCM、TCD 的对比示例。
Modal 工程博客展示了如何用约 300 个 Heroicons SVG 图标微调 Stable Diffusion,生成 Heroicons 风格的黑白线条图标,例如 barack-obama、golden-retriever 等。
Hugging Face 发布博客,介绍如何用 Latent Consistency LoRAs 将 SDXL 图像生成压缩到 4 步完成。
Hugging Face 发布博客,介绍如何在 iPhone、iPad 和 Mac 上使用 Core ML 加速运行 Stable Diffusion。正文抓取失败,仅标题可用,更多细节以原文链接为准:https://huggingface.co/blog/fast-diffusers-coreml
LlamaIndex 团队为 Transformers Agents 实现了一个 Text2Image Prompt Assistant 工具,通过索引 10K 条 DiffusionDB 提示词,让 LLM 参考示例改写提示词后再生成图像。
Hugging Face 发布系列教程第一篇,讲解如何用 Stable Diffusion 为 Unity 农场游戏确定美术风格。文章涵盖用 Automatic1111 WebUI 本地部署或在线运行的方法、借助 lexica.art 优化提示词的技巧,以及用概念图指导 Unity 场景搭建、材质、灯光和后期处理的完整流程。
推荐理由:系列第一篇给出用 Stable Diffusion 生成美术概念图并落地到 Unity 场景的完整步骤,方法可直接迁移到游戏开发流程。