图神经网络综述翻译

综述：A Comprehensive Survey on Graph Neural Networks

ABSTRACT：近年来，深度学习彻底改变了很多机器学习任务，从图像分类，视频处理到语音识别，自然语言处理等，但是通常来说，这些任务的数据都是欧式数据。现实中，很多数据都是非线性的，不是欧式数据，因此被表示为数据之间复杂关系和相互依赖的图结构。图数据的复杂性给现有的机器学习算法带来了重大挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。本文对图神经网络（GNNs）在数据挖掘和机器学习方面的应用做了全面概述。提出一种新的分类方法对GNNs各种方法进行分类。着眼于图卷积网络(GCN),回顾了一些最近提出来的新的架构，包括Graph attention networks（图注意力网络），Graph autoencoders（图自编码），Graph generative networks（图生成网络）以及Graph spatial-temporal networks（图时空网络）。另外，进一步讨论了图神经网络在各个领域的应用，总结了现有算法在不同任务中的开源代码，并提出了领域的潜在研究方向。

1 简介
神经网络近期的成功推动了模式识别和数据挖掘的研究，许多机器学习任务，例如目标检测，机器翻译，语音识别，曾经都严重依赖棘手的特征工程提取数据集的特征，现在已经被端到端的学习模式彻底改变，也就是卷积神经网络（CNN），长短时记忆网络（LSTM），和自编码（AE）。深度学习在许多领域的成功部分归功于快速发展的计算资源(如GPU)和大量训练数据，部分归功于深度学习从欧氏数据(如图像、文本和视频)中提取有效的数据表示。以图像分析为例，图像为欧式空间的规则表示，CNN能够利用图像数据的平移不变性，局部连结性和组合性，也就是CNN能够为各种图像分析任务提取整个数据集共享的局部特征。
深度学习在欧式数据上取得了巨大的成功，但是，越来越多的应用需要对非欧式数据进行分析。例如，在电子商务中，一个基于图的学习系统能够利用用户与商品之间的交互做出非常准确的推荐；在化学中，需要识别被建模为图结构的分子的生物活性以发现新的药物；在引文网络中，论文需要通过被引用的关系相互连接，然后通过挖掘关系被分成不同的组。图数据不规则，每个图的无序节点大小是可变的，且每个结点有不同数量的邻居结点，因此一些重要的操作如卷积能够在图像数据上轻易计算，但是不适用于图数据，可见图数据的复杂性给现有的机器学习算法带来了巨大的挑战。此外，现有的机器学习算法假设数据之间是相互独立的，但是，图数据中每个结点都通过一些复杂的连接信息与其他邻居相关，这些连接信息用于捕获数据之间的相互依赖关系，包括，引用，关系，交互。
近年来，人们对扩展基于图数据的深度学习越来越感兴趣。在深度学习的驱动下，研究人员借鉴CNN,LSTM,深度AE的思想设计了图神经网路的架构。为了处理复杂的图数据，在过去几年中，对重要算子的泛化和定义发展越来越快。例如，图1说明了图卷积算子是如何受标准2-D卷积算子的启发的。本文对图神经网络进行了一个全面的概述。

1.1 GNN简史
图神经网络的表示法最早在Gori等(2005)[16]中提出，在Scarselli等(2009)[17]中进一步阐述。这些早期的研究通过迭代的方式，利用循环神经结构传播邻居信息，直到达到一个稳定的不动点，来学习目标节点的表示。这些过程计算代价大，因此很多研究在克服这些困难[18],[19].本文推广图神经网络术语表示所有的针对图数据的深度学习方法。
受CNN在计算机视觉领域巨大成功的启发，很多方法致力于重新定义卷积算子，这些方法都属于图卷积网络（GCN）。Bruna et al.(2013)首次基于谱图理论[20]设计了一种图卷积的变体，自此，基于谱图的卷积网络[12]、[14]、[21]、[22]、[23]的改进、扩展和逼近越来越多。但是谱图方法一般同时处理整个图，而且难以并行处理或缩放，所以近年来基于空间的图卷积[24], [25], [26], [27]发展越来越快。这些方法通过聚集节点信息直接在图域进行卷积。结合抽样策略，计算可以在批节点而不是整个图[24]，[27]上进行，能够减少计算复杂度。
近年来，除了图形卷积网络外，还出现了许多新的图形神经网络。这些方法包括图注意网络(GAN)、图的自动编码器(GAE)、图的生成网络(GGN)和图时空网络(GSTN)。

1.2 GNN的相关研究
相关的GNN综述很少，Bronstein et al.[8]使用几何深度学习的符号，概述了非欧式域的深度学习方法，包括图形和流形。因为是先驱性工作，所以漏掉了几个重要的基于空间的方法，包括[15]、[19]、[24]、[26]、[27]、[28]。此外，本研究未涵盖一些新开发的架构，而这些架构对于GCN同样重要。本文对图注意网络(GAN)、图的自动编码器(GAE)、图的生成网络(GGN)和图时空网络(GSTN)等学习范式进行了综合评述。 Battaglia等人[29]将位置图网络作为构建块学习关系数据，使用统一的框架对部分神经网络做了回顾。但是，这个泛化的网络高度抽象，对原始论文中的方法阐述不足。Lee等人[30]对GNN的分支GAT部分进行了总结。最近，张[31]等对GNN做了一个最近的研究，但是缺少对GGN和GSTN的研究。综上，现有GNN方面的综述都不完整。

1.3 GNN vs 网络嵌入
GNN的研究与图嵌入或网络嵌入密切相关，是数据挖掘和机器学习[32],[33],[34],[35],[36],[37]日益关注的另一个课题。网络嵌入致力于在一个低维向量空间进行网络节点表示，同时保护网络拓扑结构和节点的信息，便于后续的图像分析任务，包括分类，聚类，推荐等，能够使用简单现成的机器学习算法（例如，使用SVM分类）。许多网络嵌入算法都是典型的无监督算法，它们可以大致分为三种类型[32]，即，矩阵分解[38]、[39]、随机游走[40]、深度学习。基于深度学习的网络嵌入属于GNN，包括图自编码算法，基于无监督训练的图卷积神经网络。图2描述了网络嵌入和GNN的区别。

1.4 文章的创新性
新的分类方法
提出新的GNN算法分类，分为五种类型GCN,GAN,GAE,GGN,GSTN。同时文章分析了网络嵌入和GNN的区别，并展示了GNN架构之间的联系。
综合性调研
对每种具有代表性的算法进行详细的描述，并进行相应的比较和总结，是目前为止最详细的概述。
丰富的资源
提供了丰富的GNN资源，包括最先进的算法，基准数据集，公开源码，实际应用。
未来方向
对现有算法的局限性进行了研究，并提出该领域可能的发展方向。