豆包大模型Seedream2.0技术报告原生中英双语图像生成模型译文版_33页_41mb

Seedream 2.0 模型总结

核心内容

Seedream 2.0 是一个先进的中文-英文双语图像生成模型，旨在解决当前主流图像生成模型在文本渲染、文化理解与模型偏见等方面的不足。该模型在多个维度上表现出色，包括提示跟随、审美质量、结构准确性和文本渲染能力，能够生成高质量、高保真图像，同时具备对中文文化特征的深刻理解。

主要观点

• 双语支持：Seedream 2.0 支持中文和英文文本提示，能够生成符合文化细微差别和美学要求的图像。
• 数据系统优化：开发了一个强大的数据系统，能够持续整合新知识，包括通用字幕、专业字幕和文本渲染数据，以提升模型的描述能力和渲染能力。
• 文本编码器：集成自研的双语大语言模型（LLM）作为文本编码器，显著提升了模型对中英文文本的理解和生成能力。
• 字符级文本渲染：采用 Glyph-Aligned ByT5 模型实现字符级文本渲染，确保文本的准确呈现。
• 分辨率泛化：通过 Scaled ROPE 技术，使模型能够推广到未训练的分辨率，提高生成图像的适应性。
• 后训练优化：通过多阶段的 SFT 和 RLHF 迭代优化，进一步提升模型的文本对齐、审美和结构准确性。
• 模型加速：引入 CFG 和步骤蒸馏，以及量化技术，显著提升了模型的推理效率和性能。

关键信息

数据预处理

• 数据组成：包括高质量数据、分布维护数据、知识注入数据和针对性补充数据。
• 数据清洗：采用三阶段过滤机制，确保数据集的高质量、多样性和一致性。
• 主动学习：通过主动学习引擎，识别并整合具有挑战性的数据点，以提升模型表现。
• 图像字幕生成：生成通用和专业字幕，以增强模型的描述能力和对文本渲染的理解。

模型预训练

• 扩散变换器：基于稳定扩散模型设计，采用自注意层和不同 MLP 处理图像和文本模态。
• 位置嵌入：使用 2D 旋转位置嵌入（RoPE）及其变体 Scaling RoPE，提升模型在不同分辨率下的表现。
• 文本编码器：采用自研的 LLM 作为文本编码器，提升中英文文本的理解和生成能力。
• 字符级文本编码器：结合 ByT5 模型，实现字符级文本渲染，提高文本呈现的准确性和多样性。

模型后训练

• 持续训练（CT）：使用高质量数据集，提升图像的美学质量，同时保持提示跟踪和结构准确性。
• 监督微调（SFT）：通过精细调整的提示和美学标签，提升模型的生成能力。
• 人类反馈对齐（RLHF）：通过多奖励模型和反馈学习，增强模型与人类偏好的一致性。
• 提示工程（PE）：利用内部微调的 LLM，提升模型的提示理解和生成能力。
• 精炼器：用于提升图像分辨率和优化结构细节，增强模型的生成质量。

对齐到基于指令的图像编辑

• SeedEdit：Seedream 2.0 可以与 SeedEdit 集成，实现强大的图像编辑能力，包括保持 ID 识别和优化图像结构。
• 增强人脸识别：通过多专家数据融合和面部感知损失，提升模型在保留人脸特征方面的能力。

模型加速

• CFG 和步骤蒸馏：优化推理过程，提升模型效率。
• 量化技术：采用自适应混合量化方法，提升计算密度和推理性能。

模型性能

• 人类评估：在多个维度上表现优异，如文本-图像对齐、结构准确性和美学质量。
• 自动评估：在 VQAScore 和 EvalMuse 等指标上，表现优于多个 SOTA 模型。
• 文本渲染能力：在中英文文本渲染方面表现突出，特别是在中文文本，准确率高达 78%。
• 中文文化特征：在传统服饰、食物、艺术技巧、建筑等方面表现优异，能够准确生成具有中国文化特征的图像。

图像可视化

• 图1：展示 Seedream 2.0 在中英文评估中的卓越表现。
• 图2：展示 Seedream 2.0 的图像生成效果。
• 图3：展示预训练数据系统。
• 图4：展示知识注入过程。
• 图5：展示数据清理过程。
• 图6：展示主动学习流程。
• 图7：展示通用字幕示例。
• 图8：展示文本渲染数据预处理。
• 图9：展示训练和推理流程。
• 图10：展示模型架构。
• 图11：展示不同训练阶段的图像生成效果。
• 图12：展示奖励曲线和反馈学习效果。
• 图13：展示 PE 框架的示例。
• 图14：展示精炼器效果。
• 图15：展示中文特点评估结果。
• 图16：展示文本渲染评估结果。
• 图17：展示人类评估结果。
• 图18：展示自动评估结果。
• 图19：展示文本渲染评估。
• 图20：展示中文文化特征评估。
• 图21：展示中文特点的响应率。
• 图22：展示中文特点比较。
• 图23：展示对齐比较。
• 图24：展示结构比较。
• 图25：展示美学比较。
• 图26：展示文本渲染示例。
• 图27：展示文本渲染效果。
• 图28：展示生成的高美学中式图像。

结论

Seedream 2.0 在多个方面表现出色，包括双语支持、文本渲染能力、中文文化理解以及与人类偏好的对齐。通过多层次的数据处理、模型预训练和后训练优化，Seedream 2.0 成为了当前最先进的图像生成模型之一，广泛应用于豆包和即梦等平台。