殷述康：多模态大语言模型领域进展分享-42页_4mb

多模态大语言模型领域进展总结

1. 背景介绍

传统大语言模型（LLM）主要处理文本数据，存在多模态任务处理能力有限的局限，如无法根据图片生成代码或理解复杂多模态信息。多模态大语言模型（MLLM）应运而生，能够处理图文、视频等多种输入输出形式。近两年，MLLM在工业界和学术界迅速发展，涌现出上百个开源与闭源模型。

2. MLLM 的基本架构与训练方法

• 架构：通常包括视觉编码器（如ViT+CLIP）、连接器（如MLP或Q-Former）和预训练大语言模型。连接器负责将视觉特征与语言模型对齐。
• 训练阶段：
  • 第一阶段：模态对齐训练，将视觉特征与文本特征对齐。
  • 第二阶段：指令微调训练，提升模型在复杂任务中的指令遵循能力。

3. MLLM 的演进与挑战

• 更高的分辨率与多样化输入：支持高分辨率图像、多图、视频等复杂输入，模型能够更全面地理解场景。
• 更丰富的输出形式：模型不仅能生成文本，还能生成图片、音频、视频等多模态内容，实现图文交错的输出。
• 幻觉问题与长视频理解：幻觉问题是多模态模型的主要挑战之一，表现为模型生成不准确的内容。长视频理解任务中，现有评测集不足，难以全面评估模型的全局理解能力。

4. 团队相关工作

• 幻觉缓解：提出了Woodpecker框架，通过结合视觉模型增强感知能力，减少模型输出中的幻觉现象。
• 长视频理解评测：构建Video-MME数据集，涵盖不同长度视频和复杂问题，评估模型在全局理解、推理等任务上的表现，填补了现有评测的不足。
• 多模态交互体验：开发VITA框架，支持实时语音交互、打断处理和噪声过滤，提升人机交互体验。

5. 未来展望

• 支持更长上下文：实现电影级视频理解，解决长上下文捕捉能力的问题。
• 多模态智能体：构建能自动完成复杂任务的多模态系统，如智能手机助手。
• 轻量化与部署：推动MLLM在移动端的轻量化部署，提高计算效率。
• 统一训练与推理：开发统一的训练范式和推理流程，支持多模态内容的灵活生成与理解。

多模态大语言模型的进步正在推动AI从单一文本处理走向多模态融合，未来将在交互体验、任务复杂度和计算效率上持续突破。