一句话导读
高效图文预训练，多模态模型的通用底座
论文信息
| 英文原名 | BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models |
| 中文常用名 | BLIP-2（图文预训练模型） |
| 作者 | Li, Li, Savarese, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2301.12597 |
| 所属专题 | 多模态 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：传统多模态预训练（如 ViLT、Flamingo 之前）常需大规模图文数据从头训练，成本高、收敛慢；且”冻结大模型”与”端到端微调”之间存在效率与效果的权衡。能否”引导（Bootstrapping）”已有视觉/语言大模型，用极少可训练参数获得 SOTA？
二、核心创新：BLIP-2 提出”查询 Transformer（Q-Former）”作为视觉与语言的桥梁：冻结 CLIP/ViT 图像编码器与冻结 LLM（OPT/FlanT5），只训练一个轻量 Q-Former——它用可学习的查询向量从图像特征中”提取”文本相关表示，再注入 LLM。这一”预训练+引导”策略用极少量可训练参数（约 1.2 亿）就取得 SOTA 多模态能力。
三、关键技术细节：① Q-Former 由 BERT 初始化的 Transformer 组成，输入是固定数量的查询嵌入（如 32 个）；② 三阶段训练：图文对比学习（对齐）→ 图文生成（语义提取）→ LLM 注入（与冻结 LLM 联合优化）；③ 支持图文检索、图像描述、视觉问答等任务；④ 可插拔地适配不同 LLM（OPT、FlanT5），扩展性强；⑤ 在 18 项基准上超过当时所有多模态模型，零样本表现尤其突出。
影响与后续发展
BLIP-2 的”冻结大模型+轻量桥接”思想成为多模态高效训练的主流范式，Q-Former 结构被 InstructBLIP、MiniGPT-4 等继承；它也证明了”引导（bootstrapping）已有模型”可以大幅降低训练成本，推动多模态研究的民主化。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
BLIP-2: We propose a generic and efficient pre-training strategy that bootstraps vision-language pre-training from an off-the-shelf frozen image encoder and a frozen large language model, bridging them with a lightweight Querying Transformer. BLIP-2 achieves state-of-the-art results on various vision-language tasks while requiring far fewer trainable parameters, making it a widely used backbone for multimodal models.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。