Qwen-Image：基于Qwen-VL的20B多模态图像生成模型

Qwen-Image：基于Qwen-VL的20B多模态图像生成模型

在AIGC浪潮席卷内容创作领域的今天，我们早已过了“随便画个猫”的初级阶段。用户不再满足于模糊的概念图或风格混乱的拼贴——他们需要的是精准表达、细节可控、可直接商用的高质量视觉产出。尤其在中文语境下，一个长期被忽视的痛点愈发凸显：现有主流文生图模型对复杂提示词的理解能力有限，面对中英文混排、嵌套逻辑、品牌文案等真实场景时，常常出现文字错乱、布局失衡甚至语义偏离。

正是为了解决这些“落地难”问题，我们推出了Qwen-Image—— 一款参数规模达200亿（20B）的专业级多模态图像生成模型。它不是简单地堆叠更多算力，而是从底层架构出发，重新思考“如何让AI真正理解图文关系”。通过将Qwen-VL 系列的语言与视觉理解能力深度整合进 MMDiT 主干网络，Qwen-Image 实现了在文生图、图像编辑和高分辨率输出上的全面突破。

为什么传统路径走不通？

大多数文生图系统依赖 CLIP 作为文本编码器，这条路在过去几年确实推动了技术发展。但当我们试图构建一个面向企业级应用、支持精细控制的内容引擎时，其局限性暴露无遗：

• CLIP 对长文本建模弱，难以处理包含多个条件约束的复杂 prompt；
• 中文支持差，尤其在字体选择、字形连贯性和排版合理性方面表现糟糕；
• 缺乏推理能力，无法理解“请把左边的人换成穿西装的男士”这类指令中的空间与属性变化。

于是我们决定换一条路走：放弃通用文本编码器，转而使用具备强大语言理解能力的大模型作为文本主干。最终选定Qwen2.5-VL作为核心组件，并将其与 MMDiT 架构进行端到端联合训练。这一决策带来了根本性的提升——模型不仅能“看懂”文字，还能“读懂”意图。

比如输入这样的提示：“设计一张科技风中秋节海报，主标题‘月满中秋’用书法体居中显示，副标题‘Mid-Autumn Festival 2024’以现代无衬线字体置于下方，背景是城市夜景与一轮明月。”

传统模型可能会随机分配字体风格，或将中英文错位排列；而 Qwen-Image 能准确解析每一层语义要求，在布局、字体匹配和氛围营造上实现高度还原。

架构革新：不只是更大的Transformer

MMDiT主干：双流并行，动态融合

Qwen-Image 采用Multi-Modal DiT（MMDiT）作为生成主干。相比传统 U-Net 或单一流程的 DiT，MMDiT 在每层都维护独立的图像 latent 和文本 token 流，仅在关键节点通过跨模态注意力进行信息交换。

这种设计的好处在于：
- 避免早期模态干扰，保持各自特征完整性；
- 支持细粒度对齐，例如某个文本 token 可精确影响特定区域像素；
- 更容易扩展至更高分辨率和更长序列长度。

我们的实现包含60 层 Transformer 块，隐藏维度高达 4096，整体参数量达到 20B，远超 Stable Diffusion 3 和 Flux 等同类方案。但这不是为了“大而全”，而是为了支撑复杂的多任务协同。

# 示例结构片段（简化） class MMDiTBlock(nn.Module): def __init__(self, dim): self.attn_img = SelfAttention(dim) self.attn_text = SelfAttention(dim) self.cross_img2text = CrossAttention(dim) self.cross_text2img = CrossAttention(dim)

每一层都在做动态判断：哪些部分该由文本主导？哪些应保留原始图像结构？这让模型在图生图和编辑任务中表现出极强的上下文保持能力。

文本编码器：用Qwen2.5-VL替代CLIP

这是 Qwen-Image 最关键的技术跃迁之一。我们完全舍弃了 CLIP-L/CLIP-G，转而使用Qwen2.5-VL 的文本编码分支，并在训练过程中对其进行微调。

这意味着什么？

• 模型可以直接继承 Qwen 系列在大规模语言建模中的先验知识；
• 能够处理括号嵌套、引号引用、条件判断等复杂句式；
• 原生支持中英文混合输入，且能根据语种自动调整渲染策略；
• 对指令类 prompt 具备更强的执行力，如“请画出带有品牌LOGO的广告海报”。

更重要的是，由于 Qwen-VL 本身就是一个图文双塔结构，它的视觉模块也被用于反向指导生成过程。例如，在图像编辑任务中，模型可以先“读图”识别出需修改区域的内容类型（人物、物体、文字），再结合新文本进行一致性替换，避免风格突变或结构断裂。

多模态位置编码：让编辑更智能

图像编辑的核心挑战之一是空间感知。传统的 inpainting 方法往往只依赖 mask 输入，缺乏对“扩展方向”“相对偏移”等语义信息的理解。

为此，我们提出了一种全新的多模态位置编码（Multimodal Positional Encoding, MPE），它不仅包含坐标信息，还融合了以下信号：
- 原始图像区域标记（保留 vs 生成）
- mask 边界拓扑结构
- 相对位置偏移量（如“向左扩展512px”）
- 可学习的模态标识符，区分不同操作类型

在训练阶段，我们显式注入编辑指令，例如[EDIT][OUTPAINT_LEFT_512]，使模型学会将自然语言指令映射为空间行为。实验表明，MPE 显著提升了 outpainting 的连贯性，尤其是在大范围延展时仍能维持合理的透视关系和光影一致性。

数据工程：质量比数量更重要

20B级别的模型不能靠“蛮力喂数据”来训练。我们构建了一个四阶段闭环流程：收集 → 过滤 → 标注 → 合成增强，确保每一份训练样本都有价值。

数据来源与构成

总数据量超过10亿图文对，涵盖三类主要来源：
1. 公开数据集（LAION、COYO、ShareGPT4V）—— 提供基础多样性；
2. 自建专业图库（广告、插画、UI设计、产品摄影）—— 弥补真实商业场景缺失；
3. 合成数据（由 Qwen-VL 自动生成描述 + 图像生成）—— 扩展稀缺类别。

其中约 30% 为人工审核的高质种子数据，其余通过自动化 pipeline 扩展，形成“高质量锚点 + 规模化覆盖”的金字塔结构。

智能过滤机制

我们使用Qwen2.5-VL对原始图文对进行三重评估：

基于这些指标，我们建立了一个动态权重系统：高相关性+高美学得分的样本获得更高采样概率，低质量样本则被降权甚至剔除。这使得训练过程更加稳定，避免被噪声数据带偏。

合成数据增强：填补现实空白

某些场景在真实数据中极为稀少，比如“宋体中文标题搭配英文字母的品牌海报”、“竖排繁体文案的艺术设计”等。为解决这个问题，我们开发了一套可控合成 pipeline：

graph LR A[结构化 Prompt] --> B{Qwen-VL生成多样描述} B --> C[调用已有模型批量生成图像] C --> D{Qwen-VL回检质量} D -->|合格| E[加入训练集] D -->|不合格| F[反馈优化Prompt]

这套闭环机制不仅能扩充数据规模，更重要的是提升了模型对“文本在图中”的生成控制力。经过该流程训练后，Qwen-Image 在 ChineseTextRender Score 上达到4.7/5.0，远超其他模型。

训练策略：三阶段渐进式优化

第一阶段：Pre-train with Flow Matching

我们采用Flow Matching替代传统的噪声预测损失（noise prediction），因为它能提供更平滑的隐变量轨迹，减少训练震荡，加快收敛速度。

同时引入课程学习（Curriculum Learning）策略，逐步提升五个维度的难度：

这种“由易到难”的训练方式有效缓解了初期模式崩溃问题，也让模型更容易适应后续的精细任务。

第二阶段：Post-train with SFT + DPO

当基础生成能力成型后，重点转向人类偏好对齐。

Supervised Fine-Tuning (SFT)

我们构建了50万高质量图文对，全部经过人工标注，满足：
- 图像美学评分 ≥ 4.8/5.0；
- 描述精确到对象属性、空间关系、情感氛围；
- 覆盖写实、动漫、扁平化、水墨等多种风格。

SFT 显著提升了生成结果的细节丰富度与语义忠实度。

Preference Optimization：DPO为主，GRPO辅助

我们收集了2000万组对比样本，每组包含同一 prompt 下多个生成结果的人工排序标签。训练采用：
-Direct Preference Optimization (DPO)：基于 Bradley-Terry 模型优化偏好；
-Group Relative Preference Optimization (GRPO)：处理多图比较中的非线性偏好结构。

这些数据覆盖常见错误类型：文字错乱、结构畸形、风格不符等。模型由此学会“避开陷阱”，优先生成符合人类审美的结果。

第三阶段：多任务联合训练

最后一环是打通文生图与图像编辑的能力边界。

我们在输入中增加：
- 原始图像的 VAE latent；
- mask tensor；
- 编辑指令 token（如[EDIT][INPAINT]）；

并使用混合损失函数：
- 重建损失（reconstruction loss）
- 一致性正则项（consistency regularization）
- 语义保持约束（semantic preservation constraint）

训练完成后，Qwen-Image 可在同一框架下完成五类任务，无需切换模型或加载插件：
- 文生图（text-to-image）
- 图生图（image-to-image）
- 局部重绘（inpainting）
- 图像扩展（outpainting）
- 文图条件生成（text+image-to-image）

这才是真正的“一模型多任务”。

实际表现：不止于指标领先

定量评测结果

FID 越低越好，BLEU-4 和文本渲染得分越高越好。可以看出，Qwen-Image 在各项指标上均取得 SOTA 表现，尤其在中文文本渲染方面拉开显著差距。

高分辨率原生支持

Qwen-Image 原生支持1024×1024 分辨率图像生成，无需分块拼接或多阶段超分。这意味着：
- 广告海报可直接交付印刷；
- 电商主图无需后期裁剪；
- 出版物插图保持细节锐利。

更重要的是，高分辨率并未牺牲生成稳定性。得益于 MMDiT 的高效注意力机制和 KV Cache 压缩优化，推理延迟控制在合理范围内。

应用场景实录

场景一：创意设计辅助

设计师输入：“设计一张科技感十足的中秋节海报，主标题为‘月满中秋’，副标题英文 ‘Mid-Autumn Festival 2024’，背景有城市夜景与月亮。”

→ Qwen-Image 成功实现了中英文标题的层级区分，选择了合适的书法体与无衬线字体组合，背景光影协调，整体构图富有节日氛围。

场景二：广告内容延展

营销人员需求：“把这张咖啡杯照片向右扩展 512 像素，新增一个正在付款的顾客，保持原有光影一致。”

→ 模型通过编辑模式无缝延展画面，新人物姿态自然，衣着风格与场景匹配，光照方向完全一致，边界无明显接缝。

场景三：多语言本地化

输入原图 + 新提示：“将此英文广告改为中文版本，保留视觉风格，主文案改为‘全新一代智能手表上市’。”

→ 模型在不改变整体构图的前提下，替换了所有文本内容，并自动选用适合中文展示的字体与字号，实现“视觉迁移+文本重写”一体化操作。

开放计划：人人可用的专业引擎

目前，Qwen-Image 已发布开源镜像版本，适用于研究与商业用途：

GitHub 地址：https://github.com/modelscope/DiffSynth-Studio
示例脚本路径：examples/qwen_image/model_training/train.py

镜像特点包括：
- 全功能支持：文生图、编辑、图生图、文图生图；
- 提供 API 接口与 WebUI 示例；
- 支持 Hugging Face 加载与 ModelScope 部署；
- 包含轻量化推理优化方案（KV Cache 压缩、分块生成）；

我们鼓励开发者将其集成至自有 AIGC 平台，打造下一代智能视觉内容生产线。

这种高度集成的设计思路，正引领着智能图像生成技术从“能画”走向“画得准、改得精”的新阶段。未来，我们将持续探索视频生成、三维感知、交互式编辑等方向，推动 AIGC 技术从“可用”迈向“好用”，从“生成”升维至“创造”。

让 AI 不仅看得懂世界，更能精准地描绘它。