图卷积网络(GCN):让神经网络学会看关系

Semi-Supervised Classification with Graph Convolutional Networks

作者:Thomas N. Kipf、Max Welling(阿姆斯特丹大学 / CIFAR,2016,ICLR 2017 / arXiv:1609.02907)

发布时间:2016 年 9 月(arXiv 预印本);2017 年 4 月 ICLR 会议发表

论文讲了什么

这篇论文做了一件当时看起来很朴素的事:把卷积从”格子”推广到”关系网”。图像是整齐的网格,每个像素的邻居是固定的;但引文网络、社交关系、分子结构这些数据是图——每个节点邻居数量不同、顺序还乱。GCN 给出的答案是:每一层只做一件事,把节点自己的特征和它邻居的特征加权平均(按度数归一化),再乘一个可学习的权重矩阵。就这样一个公式,配上两层网络、每类只用 20 个标注节点,在引文网络分类上把 Cora 做到 81.5%、Citeseer 70.3%、Pubmed 79.0%,比当时的标签传播、DeepWalk 等基线都高,训练只要几秒。

为什么经典

  • 第一次让”图”可以像 CNN 一样端到端训练:不需要手工设计图特征,梯度直接从节点标签回传到整张图。
  • 公式简单到可以写在黑板上:一行传播规则,无参数化的卷积核,计算量线性于边数(O(|E|)),能跑在几十万节点的大图上。
  • 开创了图神经网络(GNN)整个领域:此后 GraphSAGE、GAT、GIN、MPNN 等工作几乎都以它为起点,”消息传递”框架的通用形式就是这篇论文的两层传播。
  • 跨界落地广:推荐系统、分子属性预测、风控反欺诈、知识图谱补全、交通预测,都能见到它的直系后代。

一句话导读:把”邻居的信息汇总给自己”这件事写成一行矩阵乘法,让神经网络第一次学会了处理关系型数据。

详细解读(中文)

一、论文背景:2016 年前后,深度学习已经在图像、语音、文本上全面开花,但这些任务的共同前提是数据具有规则结构。一旦换成图,麻烦就来了:卷积需要”在固定位置采样邻居”,而图里每个节点的邻居数不同、没有顺序、也没有平移不变性。此前处理图的主流办法有两类:一是把图结构编码成特征,交给普通分类器;二是谱图方法,用图傅里叶变换在频域定义卷积。后者理论漂亮,但每次前向都要做特征分解,代价高昂,滤波器也不局部化。另一条路是半监督学习——现实中标注极贵,一个引文网络里可能只有千分之几的节点有类别标签。论文要回答的问题正是:能否设计一种既便宜又局部化的图卷积,让少量标签借助图结构扩散到全图?

二、核心创新:作者的思路是从谱图卷积出发做近似。Defferrard 等人曾用切比雪夫多项式把谱卷积近似成 K 阶局部算子,Kipf 与 Welling 直接取 K=1(一阶),再把最大特征值近似为 2,得到一个极简形式,并引入一个关键的「重归一化技巧」:把邻接矩阵加上自环 Ã = A + I,再按度数做对称归一化,最终得到传播规则 H(l+1) = σ(D̃-1/2 Ã D̃-1/2 H(l) W(l))。用自然语言说就是:先把每个节点的特征和邻居特征加起来(含自己),按两端节点的度数做对称归一,乘一个可训练矩阵,过一层非线性。这个简化同时解决了两件事——计算不再需要特征分解,滤波器自动变成”邻域内一跳”的局部算子。半监督的实现也很直接:只在有标签的节点上计算交叉熵损失,但信息顺着边一层层传出去,未标注节点因此获得表示。

三、技术细节:实验里的模型小得惊人——两层 GCN(隐藏层 16 个单元),Cora 数据集 2,708 个节点、5,429 条边、1,433 维词袋特征、7 个类别,每类只用 20 个标签(共 140 个)。超参为 dropout 0.5、L2 正则 5e-4。结果:Citeseer 70.3%、Cora 81.5%、Pubmed 79.0%,以及在知识图谱 NELL 上每类只给 1 个标签仍达 66.0%。速度上 Cora 4 秒、Citeseer 7 秒收敛,对比 Planetoid 的 13 秒与 26 秒,准确率还更高。论文还做了消融,说明”每层都传播邻居特征”而不是只在最后一层聚合,效果明显更好;同时指出重归一化能缓解深层传播时的数值不稳定和梯度问题。复杂度为 O(|E|),即线性于边数,这是它能扩展到大规模图的原因。

四、影响与发展:这篇论文之后,GNN 从冷门方向变成热门赛道。GraphSAGE 用邻居采样把 GCN 改造成归纳式、可扩展到没见过的新节点;GAT 用注意力替换固定归一化权重,让每条边的重要性可学习;GIN 从理论上讨论了 GNN 的表达能力上限,指出其与 WL 图同构测试等价;MPNN 则把各类变体统一成”消息—聚合—更新”框架。应用端的代表包括 Pinterest 的 PinSage 推荐、分子性质与药物相互作用预测、金融风控里的关系网络识别、知识图谱补全等。它也有明确的短板:层数一深,节点表示会趋向一致(过平滑),所以多数任务只用两三层;有向图、异构图、动态图都需要改造;超大图要依赖采样与分块。今天它与 Transformer 结合形成的图 Transformer,仍在继续扩展这套思路。


查看原始论文(权威链接)

版权提示:上述链接指向论文的公开预印本与作者博客,版权归原作者及出版方所有。本站仅提供链接指引入口,不转载、不托管论文全文;如需引用或商用,请遵循原文的授权协议(预印本通常由作者保留版权,具体许可以原文页面标注为准)。

原始出处

英文标题:Semi-Supervised Classification with Graph Convolutional Networks
中文标题:图卷积网络(GCN):让神经网络学会看关系
作者:Thomas N. Kipf, Max Welling(共 2 位)
机构:University of Amsterdam / CIFAR
会议:ICLR 2017
年份:2017
arXiv 编号:arXiv:1609.02907

英文原文摘要节选

We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.

摘录仅用于介绍与评论,完整内容请见上方论文原文链接。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部
公安联网备案:宁公网安备64010002000275号