2024多模态大模型MLLMs轻量化方法研究现状和展望报告-中移智库_14页_391kb

多模态大语言模型（MLLMs）轻量化方法研究摘要

多模态大语言模型（MLLMs）在视觉问答、视觉理解等任务中表现出优异性能，但由于模型规模大、训练和推理成本高昂而限制了其广泛应用。针对这一问题，研究高效轻量化的MLLM方法对边缘计算场景具有重要意义。

轻量化方法主要集中在三个核心模块的优化上：视觉编码器、预训练大语言模型和视觉-语言投影器。视觉编码器处理视觉输入，大多采用CLIP等预训练模型，优化效果不如语言模型显著。预训练大语言模型方面，并行使用小型轻量级模型（如phi2、Gemma）或采用模型压缩技术，如量化、剪枝、知识蒸馏，以减少参数并保持性能。视觉-语言投影器通过基于注意力、CNN、Mamba或混合结构实现轻量化设计。视觉kistan压缩技术包括多视图输入（如低分辨率处理）、token处理（如token减少方法）、多尺度信息融合和视频特定方法，以降低计算负担。高效的结构探索包括专家混合模型（MoE）、基于Mamba的序列建模和推理加速技术，这些方法提高了性能和速度。

未来展望指出轻量化MLLMs可扩展以处理更复杂的多模态信息，如长视频和文档，并支持更广泛的输入输出模态，推动在机器人等边缘设备的部署。这将提升设备的智能化水平和人机交互流畅度。尽管目前进展显著，但研究仍处早期，需进一步突破信息处理局限。

参考文献见原文。