2024年多模态大模型（MLLMs）轻量化方法研究现状和展望报告-中移智库-14页_339kb

多模态大语言模型（MLLMs）在视觉问答、理解与推理等任务中表现出色，但其庞大的模型规模和高训练、推理成本限制了广泛应用。轻量化研究旨在降低资源消耗，提升边缘设备适用性，目前主要通过优化视觉编码器、语言模型和视觉-语言投影器等核心模块，以及视觉token压缩技术，结合方法如模型压缩、Token减少、多模态融合和高效结构设计（如MoE、Mamba、推理加速）来实现。轻量化的局限包括多模态信息处理能力不足和输出模态局限，未来需突破这些挑战，并扩展输入输出模态，推动边缘部署和智能设备应用。