一句话导读
让AI“看图配文”互相理解，图文跨模态基础
论文信息
| 英文原名 | Learning Transferable Visual Models From Natural Language Supervision |
| 中文常用名 | CLIP（图文对比模型） |
| 作者 | Radford, Kim, Hallacy, et al. |
| 发表年份 | 2021 |
| 出处 / 获取 | arXiv:2103.00020 |
| 所属专题 | 多模态 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：传统视觉模型依赖人工标注的分类标签训练（如 ImageNet），成本高、类别固定、迁移差。人类理解图像却主要靠”语言描述”。能否直接从互联网上海量的”图文对”（图片+alt 文本）学习视觉概念，实现零样本迁移？
二、核心创新：CLIP（Contrastive Language-Image Pre-training）提出”对比学习”目标：从 4 亿个互联网图文对中，让匹配的（图像，文本）对在共享嵌入空间里靠得更近，不匹配的推得更远。训练后，图像编码器（ViT/ResNet）与文本编码器（Transformer）的输出可直接用于零样本分类：把类别名编码成文本，与图像嵌入计算相似度取最高者。
三、关键技术细节：① 采用 InfoNCE 对比损失，批量内 32768 对样本做负采样，效率极高；② 图像编码器选 ViT-L/14（约 4 亿参数），文本编码器为 12 层 Transformer；③ 数据来自互联网 alt 文本，天然覆盖大量概念；④ 零样本分类在 ImageNet 上达到 76.2% top-1，与 2016 年有监督 ResNet-50 相当，且无需任何训练样本；⑤ 对 30+ 个数据集做评估，证明其强大的跨模态泛化能力。
影响与后续发展
CLIP 奠定了”图文跨模态对齐”的标准范式：它是 Stable Diffusion 的文本编码器、DALL·E 2 的语义桥梁，也是大量多模态大模型（LLaVA、BLIP 等）的视觉底座；”对比学习+大规模图文数据”成为多模态 AI 的通用训练哲学，推动文本-图像-视频的语义统一。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Contrastive Language-Image Pre-training (CLIP): We introduce a model trained on 400 million image-text pairs collected from the internet to learn visual concepts from natural language supervision. CLIP can be applied to a wide range of visual tasks, including zero-shot image classification, without any task-specific training data, achieving results competitive with fully supervised baselines.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。