摘要——深度学习在许多领域都取得了成功,从声学、图像到自然语言处理。然而,由于图的独特性,将深度学习应用于普遍存在的图数据是非常重要的。近年来,人们在这一领域进行了大量的研究工作,极大地推动了图形分析技术的发展。在这项调查中,我们全面回顾了应用于图形的各种深度学习方法。我们将现有的方法分为三类:半监督方法,包括图神经网络和图卷积网络,无监督方法,包括图自动编码器,以及最近的进展,包括图递归神经网络和图强化学习。然后,我们根据这些方法的发展历史,以系统的方式对其进行全面的概述。我们还分析了这些方法的差异以及如何组合不同的体系结构。最后,我们简要概述了它们的应用,并讨论了未来可能的发展方向。

1简介

在过去的十年里,深度学习已经成为人工智能和机器学习领域的“王冠宝石”[1],在声学[2]、图像[3]和自然语言处理[4]方面显示出卓越的性能。深度学习在提取复杂的数据模式方面的表现力已经得到了广泛的认可。另一方面,graph1在现实世界中无处不在,它表示对象及其关系,如社交网络、电子商务网络、生物网络和交通网络。图也有复杂的结构,包含丰富的底层值[5]。因此,如何利用深度学习方法进行图形数据分析成为近年来研究的热点。这个问题是不平凡的,因为存在一些挑战,应用传统的深度学习架构的图形:

不规则区域:

与图像、音频和文本具有清晰的网格结构不同,图形处于不规则的域中,使得很难将一些基本的数学运算推广到图形中[6]。例如,对卷积神经网络(CNNs)中的基本运算&图数据进行卷积和池运算的定义是不直接的。这通常被称为几何深度学习问题[7]。

无序列表内容:

同的结构和任务。图形本身可以是复杂多样的结构。例如,图可以是异质的或同质的、加权的或未加权的、有符号的或无符号的。此外,图的任务也有很大的不同,从节点分类和链接预测等以节点为中心的问题,到图分类和图生成等以图形为中心的问题。不同的结构和任务需要不同的模型架构来解决特定的问题。

可扩展性和并行化:

在大数据时代,真实的图形可以很容易地拥有数百万个节点和边缘,比如社交网络或电子商务网络[8]。因此,如何设计具有线性时间复杂度的可扩展模型成为一个关键问题。另外,由于图中的节点和边是相互连接的,往往需要整体建模,如何进行并行计算是另一个关键问题。

交叉学科:

图形常常与其他学科相联系,如生物学、化学或社会科学。交叉学科提供了机遇和挑战:可以利用领域知识来解决具体问题,但集成领域知识可能会使设计模型更加困难。例如,在生成分子图时,目标函数和化学约束往往是不可微的,因此基于梯度的训练方法不易应用。

为了应对这些挑战,我们在这方面作出了巨大的努力,形成了丰富的相关文献和方法。所采用的体系结构也有很大的不同,从有监督到无监督,从卷积到递归。然而,据我们所知,很少有人努力系统地总结这些不同方法之间的差异和联系。

在本文中,我们试图通过对图的全面深入学习来填补这一空白。具体而言,如图1所示,我们将现有的方法分为三个主要的类别:半监督方法、无监督方法和ECENT进展。具体来说,半监督方法包括图神经网络(GNNs)和图卷积网络(GCNs),非监督方法主要由图自编码(GAEs)和最近的进展(包括图递归神经网络和图强化学习)组成。我们在表1中总结了这些类别的一些主要区别。广义上讲,GNNs和GCNs是emi监控的,因为它们利用节点属性和节点标签端到端地训练特定任务的模型参数,而GAEs主要关注使用无监控方法的学习表示。最近的先进方法使用其他不属于以前类别的独特的算法。除了这些高级的区别之外,模型架构也有很大的不同。在接下来的章节中,我们将详细介绍这些方法,主要关注它们的发展历史以及这些方法如何解决图形的挑战。我们还分析了这些模型的差异以及如何组合不同的体系结构。最后,我们简要概述了这些方法的应用,并讨论了未来可能的发展方向。

相关工作:

有几项调查与我们的论文有关。Bronstein等人。[7]总结了一些早期的GCN方法以及流形上的CNN,并通过几何深度学习对其进行了全面的研究。最近,Battaglia等人。[9]总结了如何使用GNNs和GCNs进行关系推理,使用一个称为图形网络和Lee等人的统一框架。[10]回顾图形的注意模型。与这些研究不同的是,我们系统而全面地回顾了不同的图形深度学习体系结构,而不是专注于一个特定的分支。另一个密切相关的主题是网络嵌入,试图将节点嵌入到低维向量空间中[11]–[13]。网络嵌入和本文的主要区别在于,我们关注如何将不同的深度学习模型应用到图中,并且可以将网络嵌入识别为使用其中一些模型(它们也使用非深度学习方法)的具体示例。本文的其余部分安排如下。在第二节中,我们将介绍符号和预备知识。然后,我们分别在第3节到第6节中回顾了GNNs、GCNs、GAEs和最近的进展。最后,我们在第7节中进行讨论。