阿里视频模型万相2.1技术报告英文版60页_20mb

Wan：高性能视频生成模型的全面开源

本报告介绍了Wan团队研发的综合性视频基础模型Wan，旨在突破视频生成技术边界。该模型基于扩散Transformer（DiT）架构，结合创新技术（如时空变分自编码器、可扩展预训练策略、大规模数据筛选与自动化评估），显著提升了生成能力。Wan具备四大核心优势：
1. 优异性能：14B参数模型在广泛的数据集训练中展现出显著的扩展性，优于现有开源模型及商业方案。
2. 全面性：提供1.3B与14B两种参数版本，覆盖图像转视频（I2V）、指令引导视频编辑（V2V）、个性化视频生成等八项任务，并首次实现中英文视觉文本生成。
3. 消费级效率：1.3B模型仅需8.19GB显存，可在多数消费级GPU上运行，且推理效率超越同规模开源模型。
4. 开放性：所有代码与模型公开，推动视频生成社区发展，并为学术研究提供高质量基础模型。

数据处理流程
Wan通过严格的数据筛选与预处理（包括OCR检测、美学评估、NSFW评分、黑边裁剪等），构建了包含数以十亿计图像与视频的高质量数据集。为增强视觉文本生成能力，采用合成与真实数据结合策略，并引入多模态语言模型Qwen2-VL进行文本-视觉对齐。

模型设计与加速

• 时空变分自编码器（Wan-VAE）：通过4×8×8压缩率，将视频时空维度降低，结合RMSNorm与特征缓存机制，显著提升推理效率，实现接近线性加速。
• 扩散Transformer结构：采用交叉注意力嵌入文本条件，通过线性层与SiLU激活函数预测动态参数。
• 并行策略与内存优化：整合FSDP与2D上下文并行，减少通信开销；利用FlashAttention与量化技术（FP8、8位）降低显存占用，提升性能。

扩展应用
Wan支持多种下游任务，包括：

• 图像转视频（I2V）：通过条件图像与遮罩机制，生成高质量动态视频，支持视频延续与帧间转换。
• 统一视频编辑（VACE）：结合多模态输入与图注意力机制，实现内容编辑与风格一致性。
• 视频个性化：基于用户提供的身份参考，通过ArcFace相似度与自注意力机制生成连贯个性化视频。
• 实时视频生成：利用滑动窗口与一致性模型（如VideoLCM）实现低延迟生成，适应交互式场景。
• 音频生成：通过V2A框架，同步生成环境音与背景音乐，提升多模态协同能力。

评估与对比
Wan在多个维度（如动态质量、图像质量、指令遵循）的测试中表现优异，尤其在运动幅度与多语言文本生成任务中超越现有模型。14B模型在VBench榜单中领先，1.3B模型在资源效率与多任务表现上具有竞争力。

局限性

• 大规模运动场景中的细粒度细节保留仍具挑战。
• 高参数模型对计算资源需求较高，需进一步优化。
• 音频生成中的人声模拟能力待提升。

Wan通过开源与创新架构，为视频生成技术提供了高效、多功能的解决方案，推动了行业应用与学术研究的协同发展。