多模态大语言模型(MLLMs)在视觉问答、视觉理解与推理等任务中展现出卓越的性能，但多模态大语言模型庞大的模型规模和高昂的训练、推理成本限制了其在学术界和工业界的广泛应用。因此，研究高效且轻量化的多模态大语言模型，特别是在边缘计算场景中，潜力巨大。本文将全面介绍当前多模态大语言模型轻量化的方法及研究现状，并探讨其局限性及未来
潜在的发展方向。
一、 多模态大语言模型概述
(一)什么是多模态大语言模型?
多模态大语言模型是一种创新性的人工智能模型，巧妙地融合了大语言模型与多模态处理能力。它能够理解和生成涵盖多种模态的数据，如文本、图像、视频、音频等，并通过多模态信息的融合实现更广泛、更复杂的任务。多模态大语言模型不仅具有强大的语言处理能力，还能通过对图像、视频或其他模态的理解，进行跨模态任务处理，比如视觉问答、视觉推理、多模态内容生成等。
(二)为什么要轻量化?
多模态大语言模型的成功主要得益于缩放定律(scalinglaw),即资源投入越多，性能越高。然而，高资源需求限制了其开发和部署。例如，MiniGPT-v2模型[16]的训练耗时超800GPU小时，LLaVA-1.5-Vicuna-13B[3模型推理需18.2T FLOPS和
41.6G内存，资源消耗巨大。目前，主流多模态大语言模型多由少数企业掌控，云端运行模式引发普及化和隐私保护担忧，同时，高算力需求也限制了边缘设备的应用，对公平访问和隐私保护构成挑战。鉴于此，轻量化多模态大语言模型的研究日益受到重视，旨在降低资源消耗、提高适用性，同时尽量减少
性能损失。
二、 多模态大语言模型轻量化方法研究现状
多模态大语言模型主要由三个核心模块组成：视觉编码器、预训练大语言模型、以及视觉-语言投影器，如图1所示。轻量化多模态大语言模型的优化措施主要集中在对上述三个模块的改进，并引入了视觉token压缩技术和高效的结构设计。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
