20240222-天风证券-计算机行业专题研究_Text-to-Video的GPT-3时刻已来_OpenAI的SORA模型引领新技术突破_12页_1mb

计算机行业分析：OpenAI发布SORA视频生成模型，开启文生视频新纪元

核心内容概述

OpenAI于2024年2月16日发布新一代文生视频大模型SORA，标志着文生视频技术进入“GPT-3时刻”。该模型能够直接生成长达60秒的高质量视频，具备复杂场景、多角度镜头和情感表达等能力，展现出强大的视频生成能力、涌现能力和一定的技术创新。

主要观点

1. SORA模型的强大视频生成能力

• SORA可以生成长达一分钟的视频，具备高度细致的背景、复杂的多角度镜头和富有情感的多个角色。
• 相较于Runway Gen 2、Pika等模型，SORA在视频连贯性、内容一致性和细节表现上达到了新的高度。
• 模型已通过专业创意人士的测试，用于评估其在实际应用中的表现。
• SORA不仅可以生成视频，还能进行视频编辑、图片生成、视频链接和前后拓展等操作。

2. SORA模型的涌现能力

• SORA展现出一定的涌现能力，能够从物理世界中模拟现实世界中的一些人、动物和环境。
• 具备三维一致性，可以在动态摄像机运动中保持人和场景元素在三维空间中的连贯性。
• 支持长范围时间一致性和物体持久性，可以有效模拟短期和长期依赖关系。
• 能够模拟数字世界，如Minecraft等视频游戏的场景，符合其基本逻辑并呈现高保真动态效果。
• 可以模拟物理交互，如人在吃完汉堡后留下咬痕。

3. SORA模型存在的问题

• 模型仍存在“幻觉”问题，可能无法准确模拟基本物理过程，如因果关系。
• 有时会混淆提示的空间细节，如左右方向。
• 无法精确描述随时间发生的事件，如特定的相机轨迹。
• 在物理交互上存在不准确的情况，例如未能将椅子建模为刚性对象。

技术亮点

1. 时空Latent Patches统一视觉数据

• SORA将不同类型的视觉数据（图像和视频）统一为时空Latent Patches，作为Transformer的输入。
• 压缩视觉数据为潜在空间表示，提高模型的泛化能力和训练效率。
• 支持不同分辨率、持续时间和宽高比的视频和图像数据训练，适应多种应用场景。

2. Diffusion Transformer结构与大规模训练

• SORA采用Diffusion Transformer结构（DiT），在视频生成领域表现出卓越的扩展性和性能。
• 模型参数规模对生成视频的质量至关重要，随着计算量的增加，样本质量显著提升。
• 通过大规模训练，SORA实现了高质量的视频生成，并在多个基准测试中表现优异。

3. 描述性合成字幕提升语言理解

• OpenAI应用了DALL-E3中的re-captioning技术，为视频数据生成描述性字幕。
• 这一技术提高了模型对文本提示的遵循能力，使生成的视频更具真实感和细节表现。
• 与DALL-E3类似，模型使用GPT将简短提示转换为详细标题，增强视频生成的准确性。

关键信息

• 技术突破：SORA采用时空Latent Patches和Diffusion Transformer结构，实现了高质量视频生成。
• 应用潜力：SORA具备文生视频、图片生成、视频编辑、视频链接和前后拓展等多种功能，有望重塑影视、动画和自媒体等行业。
• 投资建议：
  • AI多模态：万兴科技、美图公司、易点天下、焦点科技、当虹科技
  • AI应用：金山办公、科大讯飞、恒生电子、鼎捷软件、福昕软件、用友网络、金蝶国际、泛微网络、致远互联
  • AI算力：华为链+海光信息、寒武纪、云天励飞、景嘉微
• 风险提示：
  • 文生视频模型实际效果不及预期
  • 国内算力进展不及预期
  • 文生视频场景落地进度不及预期

结论

OpenAI的SORA模型在文生视频领域实现了技术突破，具备强大的生成能力和一定的物理模拟能力，标志着该技术进入新的发展阶段。尽管仍存在一些缺陷，如“幻觉”问题，但其潜力巨大，可能对多个视频生产行业产生深远影响。投资者可关注相关AI多模态、应用和算力领域的公司。