OpenMOSS 发布开源图像生成模型 MOSS-Image，主打长文本渲染与可编辑布局

一句话结论： MOSS-Image 面向的是图像生成中最难交付的一类任务：海报、信息图、漫画、UI 草图和教学材料里同时出现大量文字与多个有明确位置关系的元素。它以 5B 参数的单流 DiT 为基座，从零开始训练，支持最长约 4K token 的提示词、中文和英文长文本渲染，以及可以直接编辑的 JSON Layout。论文报告显示，它在开放权重模型的长文本评测上达到最高水平；在统一增强提示词后，基座生成器的布局偏好得分也超过了被比较的生成器。

5B 单流 DiT

从零预训练的图像生成基座，采用 Muon–AdamW 训练配方，并以统一的文本条件通道处理自然语言和结构化 Layout。

长文本渲染

保留换行和段落结构，支持中英文长文本；适合标题、说明、对白、表格和信息密集的视觉材料。

可编辑布局

用 JSON 描述画布、文本、对象和边界框，控制位置、大小与空间关系，也便于在生成前反复修改版式。

开放生态

Base 与 SFT 权重采用 Apache-2.0，提供 Diffusers、Gradio 和 ComfyUI 路径，并支持 LoRA 与全量微调。

为什么“会画图”还不够？

普通的文生图任务只需要让模型大致理解“画面里有什么”。但一张可交付的海报还要求标题拼写准确、文字顺序稳定、段落不被截断；一张信息图还要求元素落在指定区域，标题、图标和说明之间保持层次关系。文字越长、版式越复杂，这些要求越容易互相干扰。

MOSS-Image 把问题拆成两个互补的入口。直接的自然语言提示词适合快速创作；结构化 Layout 适合需要复现和编辑的画面。两者都走同一条文本条件路径，因此可以从“描述一个想法”逐步过渡到“指定每个元素应该在哪里”，而不必切换到另一套模型。

技术路线：5B DiT 加上意图感知的提示增强

技术报告中的 backbone 是一个 5B 参数的单流 Diffusion Transformer。模型从零预训练，文本编码器使用 Qwen3.5-9B，图像解码使用 FLUX.2 VAE；训练数据约 3B 张图像，并加入多粒度 caption、文字监督和结构化边界框监督。分辨率和上下文长度逐步提升到 1024² 与 4096 tokens，使模型在扩大画面细节的同时保留长提示词中的版式约束。

在基座之上，MOSS-Image 提供了意图感知的 agentic Prompt Enhancement（PE）。它可以把“做一张咖啡店开业海报”这类短请求扩展成可执行的内容与布局规范，包括文字、字体层级、色板、元素描述、bbox、锚点和 must_not 约束，还能根据任务路由到海报、信息图或 UI 等不同结构。PE 是可选的外部规划模块；只使用本地 backbone 时，仍然可以直接传入普通提示词或 JSON Layout。

96.3LLTB Mean-6，开放权重模型最高

0.87867Bench mIoU_det

1698.70RLA 端到端 Elo

4K最长提示词 token 上限

评测结果：强项集中在文字与布局

长文本：LLTB

LongLongTextBench（LLTB）包含中英文各 120 个任务，平均目标文本约 1339.8 个字符。MOSS-Image 的 Mean-6 为 96.3，是该评测中的开放权重模型最高成绩；最长英文和中文任务分别达到 97.1 和 92.4。LLTB 衡量的是文字覆盖与渲染质量，不能直接等同于 OCR 编辑距离或语义事实准确率。

布局：7Bench

在统一 JSON/Layout 任务上，MOSS-Image 的检测框 mIoU 为 0.8786，Layout AUC 为 0.7031，整体布局 mIoU 为 0.6788。下表列出论文报告的两个主要布局指标：

端到端偏好：RealLayoutArena

RealLayoutArena（RLA）让不同系统使用各自的提示增强和生成流程，再通过盲测汇总成 Elo。MOSS-Image 的端到端 Elo 为 1698.70（95% 置信区间 1655.96–1741.43），排名第二；GPT Image 2 为 1844.35，Seedream 5 Pro 为 1661.16，Qwen Image 3 Pro + PE 为 1614.84，Nano Banana Pro 为 1590.19。

为了单独观察生成器本身，论文还在同一套增强提示词下比较 backbone：MOSS-Image 得分为 1807.34，高于 ERNIE Image 的 1748.51 和 SenseNova-U1 的 1689.23。这个结果与端到端排名并不矛盾：前者主要看生成器，后者同时包含每个系统自己的提示规划、服务配置和产品流程。

与同类模型怎么选？

下面的对比把“能力表现”和“交付方式”放在同一张表里。闭源系统在端到端审美和产品整合上可能更强；MOSS-Image 的优势集中在文字密度、可解释布局和开放部署。分数来自不同评测协议，不能拼成一个跨任务的总榜。

边界也很清楚： 当前 MOSS-Image backbone 是 text-to-image 模型，不能直接接收参考图，也不提供原生图像编辑；Prompt Enhancement 依赖外部语言模型，规划质量会影响最终规格。它的优势是开放、可检查、可微调，并且把“文字和元素应该放在哪里”变成了明确的输入，而不是隐含在一句自然语言里。

从 Base 到可用系统

仓库同时提供 MOSS-Image-Base 和基于精选数据微调的 MOSS-Image-SFT。Base 更适合作为继续预训练、领域 SFT 或 LoRA 的起点；SFT 适合直接体验更稳定的文字分组和白板类版式。项目已接入 Diffusers、Gradio 和 ComfyUI，社区也提供 SGLang、vLLM-Omni 和 KohakuMossTrainer 等推理或训练入口。

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-Base",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
).to("cuda")

image = pipe(
    "一张极简旅行海报，顶部写着 EXPLORE，米白背景，蓝色山脉插画",
    height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0,
).images[0]
image.save("poster.png")

需要精确排版时，可以把包含 summary、items 和 bbox 的 JSON 直接作为 prompt；需要适配特定品牌、字体或领域数据时，再选择 SFT 或 LoRA 训练路径。

资源

• 技术报告：MOSS-Image Technical Report
• GitHub：OpenMOSS/MOSS-Image · 中文 README
• Hugging Face：MOSS-Image-Base · MOSS-Image-SFT
• ComfyUI 工作流 · MOSI API Playground