一句话导读
让开源模型“看图说话”，视觉对话新范式
论文信息
| 英文原名 | Visual Instruction Tuning |
| 中文常用名 | LLaVA（视觉对话模型） |
| 作者 | Liu, Li, Wu, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2304.08485 |
| 所属专题 | 多模态 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：大语言模型（LLM）具备强大的指令跟随与推理能力，但”看不见”图像；视觉模型能理解图像却缺乏语言推理。如何把两者连接起来，打造既能看图又能对话的多模态助手？
二、核心创新：LLaVA 提出”视觉指令微调（Visual Instruction Tuning）”：用轻量投影层把 CLIP 视觉编码器与 Vicuna（LLM）连接起来，先用”图像描述+问题”数据做特征对齐预训练，再用 GPT-4 生成的”图像-指令-回答”多模态对话数据做指令微调，使模型能围绕图像自由对话、问答、推理。
三、关键技术细节：① 投影层用简单的线性/MLP 层（成本低、可扩展）；② 数据构造用”符号描述（caption）”提示 GPT-4 生成多样化指令，形成约 15.8 万条指令数据（LLaVA-158K）；③ 训练分两阶段：投影层对齐（冻结视觉与语言模型）→ 全模型指令微调（视觉编码器冻结、LLM 与投影层更新）；④ 在 ScienceQA、视觉问答等基准上取得当时最强多模态对话效果，且数据效率极高（仅 1.3M 训练样本）。
影响与后续发展
LLaVA 以极简架构打开了”开源多模态大模型”大门：其”视觉编码器+投影层+LLM”范式被 LLaVA-NeXT、InternVL、Qwen-VL 等大量模型沿用，”视觉指令微调”也成为多模态对齐的标准方法，是国产与开源多模态生态的重要起点。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Large Language Models (LLMs) have exhibited remarkable capabilities in instruction following and reasoning. We propose LLaVA, a Large Language and Vision Assistant, which connects a vision encoder and a language model to achieve visual instruction tuning. LLaVA demonstrates strong performance on visual question answering and multimodal chat benchmarks, showing that visual instruction tuning with language-only data can effectively transfer language knowledge to multimodal understanding.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。