【中文译版】StableDiffusion3技术报告-28页_3mb

这项研究专注于文本到图像生成领域的改进，特别是通过整流流模型（Rectified Flow）的创新应用。作者对现有扩散模型和平流方法进行了大规模比较，提出了一种新颖的基于Transformer的架构MM-DiT，结合图像和文本标记的双向信息流，显著提升了生成质量、提示跟随和排版能力。

核心贡献包括：（1）改进整流流模型的时间步采样方法，使用对数正态分布优化训练过程，提高了采样效率；（2）设计MM-DiT架构，支持文本和图像令牌的并行处理，增强模型的多模态能力；（3）进行模型缩放研究，发现验证损失与性能指标（如GenEval和CLIP分数）高度相关，模型在8B参数下表现优于现有SOTA模型，如SDXL和DALL-E 3。

实验结果表明，改进后的模型在人类偏好评估和基准测试中均优于开源方法，在高分辨率生成和复杂提示处理上尤其出色。缩放研究显示，增加模型深度和参数能提升性能，但需平衡计算成本。作者还针对训练数据过滤、重复删除和人类偏好评级进行了优化。

总体而言，该工作结合理论分析、实证研究和大规模撤回，推动了文本到图像合成技术的发展，适用于高分辨率、视频生成和定制应用。