【英文原版】StableDiffusion3技术报告-英-28页_1mb

这项研究《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》提出了一种新颖的修正流动（Rectified Flow）模型及其在高分辨率图像合成中的应用。修正流动模型通过直连数据分布和噪声分布，简化了生成模型的训练和采样过程。

论文作者通过改进噪声采样技术，偏置感知相关噪声尺度，显著提升了文本到图像合成的性能。同时，他们提出了一种多模态Transformer架构（MM-DiT），允许图像和文本两种模态的双向信息传递，从而增强了文本理解、字体生成和图像质量。

在大规模实验中，模型从基础架构到8B参数的扩展展示了明确的可扩展趋势，验证损失与自动指标和人类偏好评估紧密相关。实验结果表明，8B参数模型在FID分数、CLIP得分、GenEval和人类评价上均优于SDXL、DALL-E 3等当前最先进的开放模型。

研究强调了修正流动模型的高效性和多模态架构的灵活性，并展示了通过优化训练和推理策略，能够在更少步骤内达到高质量生成结果。实验还包括了数据预处理、对抗性优化（DPO）和指令引导编辑等方面的应用，进一步验证了模型的泛化能力。

总体而言，这篇工作展示了修正流动模型在文本到图像合成方面的潜力，通过创新的架构设计和训练方法，实现了高性能和实用性，并为未来更大规模模型的扩展提供了可参考的路径。