一句话导读
图文音多模态大模型的体系化综述
论文信息
| 英文原名 | A Survey on Multimodal Large Language Models |
| 中文常用名 | 多模态大模型综述 |
| 作者 | Yin, Fu, Zhao, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2306.13549 |
| 所属专题 | 经典综述 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：2023 年多模态大语言模型（MLLM，如 GPT-4V、LLaVA）快速崛起，但架构、训练数据、评测方法各异，社区需要一份系统性综述以厘清进展与方向。
二、核心创新：这篇综述（《A Survey on Multimodal Large Language Models》）系统梳理了 MLLM 的完整技术栈：多模态编码器（CLIP/ViT）、连接器（Q-Former、投影层）、LLM 主干（Vicuna、LLaMA）、以及训练范式（特征对齐→指令微调→RLHF），并汇总了视觉问答、图文对话、文档理解等评测基准。
三、关键技术细节：① 将 MLLM 拆解为”编码器+桥接+推理”模块化架构；② 介绍两大类数据（图像文本对、多模态指令数据）及其配比策略；③ 详述训练三阶段：预训练对齐、指令微调（SFT）、偏好对齐（RLHF/DPO）；④ 汇总主流模型与开源资源（LLaVA、Qwen-VL、InstructBLIP 等）；⑤ 讨论幻觉、评估不足、计算成本等开放问题。
影响与后续发展
该综述成为多模态大模型研究的标准入门文献，为”文生图/视频之外的多模态理解”提供了统一框架，也推动了 MLLM 评测（MMBench、MM-Vet 等）与开源生态的规范化。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
A Survey on Multimodal Large Language Models: Multimodal Large Language Models (MLLMs) have emerged as an extension of Large Language Models, capable of handling and reasoning with multimodal data such as vision and text. In this survey, we systematically review the progress of MLLMs, covering their architectures, training strategies, evaluation benchmarks, and applications, and we discuss open challenges and future directions.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。