视觉 Transformer(ViT):一张图等于 16×16 个词

An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale

作者:Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit、Neil Houlsby(Google Research, Brain Team,2020,ICLR 2021 / arXiv:2010.11929)

发布时间:2020 年 10 月(arXiv 预印本);2021 年 ICLR 会议发表

论文讲了什么

这篇论文做了一件听起来「过于简单」的事:把一张图片切成固定大小的小块(16×16 像素的 patch),每块当成一个「词」,直接送进标准 Transformer 编码器做图像分类——几乎不加入任何图像专用的设计。标题「一张图等于 16×16 个词」就是这个意思。结果在大规模数据预训练后,这个模型(ViT)超越了当时最好的卷积神经网络,成为视觉领域的新范式。

为什么经典

  • 第一次证明纯 Transformer 可以不做图像专用改造就直接用于视觉,打破 CNN 在计算机视觉的长期统治;
  • 确立「大规模预训练 + 微调」在视觉领域的可行性,与 NLP 的基础模型范式完成统一;
  • 今天所有多模态大模型的「视觉塔」(CLIP、BLIP-2、LLaVA、Qwen-VL、InternVL 等)几乎都建立在 ViT 的思路上。

一句话导读:把图像当句子、把 patch 当词——这一「极简」的改用,统一了视觉与语言的架构,成为多模态时代的视觉底座。

详细解读(中文)

一、论文背景:2012 年 AlexNet 之后,卷积神经网络(CNN)成为计算机视觉的绝对主流,ResNet、Inception、MobileNet 等在此基础上不断演进。CNN 的成功很大程度来自它的「归纳偏置」——局部性(卷积只看邻域)、平移等变性(同样的图案移到别处仍被识别)、层次化结构。这些先验让 CNN 在数据有限时表现出色,但也形成约束:结构被写死,难以随数据规模自由扩展。与此同时,Transformer 在自然语言处理取得统治地位(2017 年《Attention Is All You Need》),但把它搬到视觉面临一个实际障碍:自注意力复杂度是序列长度的平方,而图像像素数远超文本词数,直接用像素序列在算力上不可行。

二、核心创新:论文给出的解法极其简洁——不做像素级建模,而是把图像切成 N 个 16×16 的 patch(例如 224×224 的图像切成 14×14=196 个 patch),每个 patch 拉平后经线性变换映射成一个向量(patch embedding),再叠加位置编码,并在序列最前面加一个可学习的 [CLS] token,然后整段序列交给标准 Transformer 编码器。分类时取 [CLS] 位置的输出接分类头。整个结构中图像专用的设计只剩「切块」这一步,其余与 BERT 完全一致。作者把这种模型命名为 Vision Transformer(ViT)。

三、技术细节:① patch embedding 在实现上等价于一个卷积核大小为 16、步长为 16 的卷积层,这也是 ViT 与 CNN 唯一的结构联系;② 位置编码使用可学习的一维嵌入,作者实验发现二维感知的位置编码并没有带来明显收益;③ 关键结论是「数据规模决定成败」:在 ImageNet 这种中等规模数据上训练时,ViT 的表现不如同量级的 ResNet(缺少归纳偏置导致样本效率低);但当预训练数据扩展到 JFT-300M 级别(数亿张图)后,ViT 反超,ViT-H/14 在 ImageNet 上达到 88.55% 的准确率,当时为最先进水平;④ 论文还提出混合架构(用 CNN 先提取特征图,再把特征图切块送入 Transformer),在小数据场景下优于纯 ViT;⑤ 作者分析了计算成本:在同等精度下,ViT 的训练算力消耗显著低于 CNN 方案。

四、影响与发展:ViT 的意义远超一次刷榜。它把视觉与语言放进了同一套架构语言里,「多模态」从此在结构上成为可能——同一套 Transformer 既能处理文本 token,也能处理图像 patch,只要把它们拼进同一个序列即可。此后:DeiT 解决了 ViT 对大数据依赖的问题(用蒸馏在 ImageNet 上即可训练);Swin Transformer 重新引入层次化与局部窗口,兼顾效率与多尺度;MAE 用掩码自监督把 ViT 的预训练成本大幅降低。而在应用层面,CLIP 用 ViT 做图文对比学习,BLIP-2 用 ViT + Q-Former 连接语言模型,LLaVA 把 ViT 输出直接投影进大语言模型——今天站内收录的 Qwen3.8-27B、Qwen3-VL、InternVL 等视觉语言模型,视觉编码器几乎都是 ViT 及其变体。可以说,没有 ViT,就没有现在的多模态大模型。


查看原始论文(权威链接)

版权提示:上述链接指向论文的公开预印本、会议页面与官方代码仓库,版权归原作者及出版方所有。本站仅提供链接指引入口,不转载、不托管论文全文;如需引用或商用,请遵循原文授权协议与代码仓库的开源许可证(Apache-2.0)。

原始出处

英文标题:An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale
中文标题:视觉 Transformer(ViT):一张图等于 16×16 个词
作者:Alexey Dosovitskiy 等 12 位
机构:Google Research, Brain Team
会议:ICLR 2021
年份:2020(arXiv 预印本 10 月)
arXiv 编号:arXiv:2010.11929

英文原文摘要节选

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train.

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部
公安联网备案:宁公网安备64010002000275号