图神经网络（Graph neural networks）综述

主要引用论文链接：

Graph Neural Networks: A Review of Methods and Applications

A Comprehensive Survey on Graph Neural Networks

主题：图神经网络（Graph neural networks）综述
整合作者：Reddoge

1 引言

近年来，人工智能领域在科研领域取得了巨大的成功，影响到了人们生活的方方面面，其中，深度学习（Deep learning），作为机器学习的一分子，发展尤为迅速。深度学习将现实世界中的每一个概念都表现为更加抽象的概念来定义，即通过神经网络来提取样本特征。在近几年来，深度学习的发展，对当今的机器学习领域，甚至更广的科研领域，都产生了深远的影响。深度学习在多个领域的成功主要归功于计算资源的快速发展（如 GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。例如卷积神经网络（Convolutional Neural Networks）可以利用平移不变性、局部连通性和图像数据语意合成性，从而提取出与整个数据集共享的局部有意义的特征，用于各种图像分析任务。

深度神经网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合，但多种端到端深度学习方式（即卷积神经网络、长短期记忆网络和自编码器）改变了这种状况。

尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据在目前来看已经取得更广泛的应用，它们需要有效分析。例如，在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图，新药研发需要测定其生物活性。在论文引用网络中，论文之间通过引用关系互相连接，需要将它们分成不同的类别。
图数据的复杂性对现有机器学习算法提出了重大挑战，因为图数据是不规则的。每张图大小不同、节点无序，一张图中的每个节点都有不同数目的邻近节点，使得一些在图像中容易计算的重要运算（如卷积）不能再直接应用于图。此外，现有机器学习算法的核心假设是实例彼此独立。然而，图数据中的每个实例都与周围的其它实例相关，含有一些复杂的连接信息，用于捕获数据之间的依赖关系，包括引用、友邻关系和相互作用。
图是一种结构化数据，它由一系列的对象（nodes）和关系类型（edges）组成。作为一种非欧几里得形数据，图分析被应用到节点分类、链路预测和聚类等方向。图网络是一种基于图域分析的深度学习方法，对其构建的基本动机论文中进行了分析阐述。

卷积神经网络（CNN）是GNN起源的首要动机。CNN有能力去抽取多尺度局部空间信息，并将其融合起来构建特征表示。CNN只能应用于常规的欧几里得数据上（例如2-D的图片、1-D的文本），这些形式的数据可以被看成是图的实例化。随着对GNN和CNN的深入分析，发现其有三个共同的特点：（1）局部连接（2）权值共享（3）多层网络。这对于GNN来说同样有重要的意义。（1）局部连接是图的最基本的表现形式。（2）权值共享可以减少网络的计算量。（3）多层结构可以让网络捕获不同的特征。然而，从CNN到GNN的转变还面临这另一个问题，难以定义局部卷积核和池化操作，这也阻碍了CNN由传统欧几里得空间向非欧几里得空间的扩展。如下图所示：

图1 欧几里得空间图与非欧几里得空间图

最近，越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动，研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。例如，图2展示了受标准2D卷积启发得到的图卷积。为了应对图数据的复杂性，重要运算的泛化和定义在过去几年中迅速发展。

图2 2D卷积与图卷积
2 研究历史
2.1 神经网络研究简史
神经网络的概念首先由 Gori 等人（2005）[1] 提出，并由 Scarselli 等人（2009）[2] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示，直到达到稳定的固定点。该过程所需计算量庞大，而近来也有许多研究致力于解决这个难题。在本篇综述中，图神经网络代表的是所有用于图数据的深度学习方法。

受到卷积网络在计算机视觉领域所获巨大成功的激励，近来出现了很多为图数据重新定义卷积概念的方法。这些方法属于图卷积网络（GCN）的范畴。Bruna等人（2013）提出了关于图卷积网络的第一项重要研究，他们基于谱图论（spectral graph theory）开发了一种图卷积的变体。自此，基于谱的图卷积网络不断改进、拓展、进阶。由于谱方法通常同时处理整个图，并且难以并行或扩展到大图上，基于空间的图卷积网络开始快速发展。这些方法通过聚集近邻节点的信息，直接在图结构上执行卷积。结合采样策略，计算可以在一个批量的节点而不是整个图中执行，这种做法有望提高效率。

除了图卷积网络，近几年还开发出了很多替代的图神经网络。这些方法包括图注意力网络（GAT）、图自编码器、图生成网络以及图时空网络。
2.2 图神经网络相关研究
与标准神经网络不同，图形神经网络保留一种状态，该状态可以表示来自其邻域的任意深度的信息。尽管已发现原始GNN难以针对固定点进行训练，但网络体系结构，优化技术和并行计算的最新进展已经使得GNN能够成功地针对固定点进行训练。近年来，基于图卷积网络（GCN）和门控图神经网络（GGNN）的系统已经在许多研究领域中展示了突破性的性能。

在有关图神经网络的相关研究中，Bronstein等人用符号几何深度学习概述了非欧几里得领域的深度学习方法，包括图和流形。虽然这是对图卷积网络的第一次回顾，但这一项研究遗漏了几个基于空间的重要方法，包括 [3], [4], [5], [6], [7], [8]，这些方法更新了最新的基准。此外，这项调查没有囊括很多新开发的架构，这些架构的重要性不亚于图卷积网络。

对于另一项研究，Battaglia等人[9]将图网络定位为从关系数据中学习的构建块，并在统一的框架下回顾了部分图神经网络。然而，他们整体的框架是高度抽象的，失去了每种方法在原论文中的见解。Lee 等人 [10] 对图注意力模型（一种图神经网络）进行了部分调查。最近，Zhang 等人 [11] 提出了一项关于图深度学习的最新调查，却忽略了对图生成网络和图时空网络的研究。

总之，现有的研究很少有对图神经网络进行全面的回顾，大多数只覆盖了部分图卷积神经网络且检查的研究，因此遗漏了图神经网络替代方法的最新进展，如图生成网络和图时空网络。对图神经网络的研究与图嵌入或网络嵌入紧密相关，这也是数据挖掘和机器学习社区日益关注的一个话题 [12] [13] [14] [15], [16], [17]。网络嵌入旨在通过保留网络拓扑架构和节点内容信息，将网络顶点表示到低维向量空间中，以使任何后续的图分析任务（如分类、聚类和推荐）都可以通过使用简单的现成学习机算法（如用于分类的支持向量机）轻松执行。许多网络嵌入算法都是无监督算法，它们大致可分为三组 [32]，即矩阵分解[18], [19]、随机游走[20]和深度学习方法。

用于网络嵌入的深度学习方法同时还有属于图神经网络的范畴，包括基于图自编码器的算法（如 DNGR [21] 和 SDNE [22]）和具有无监督训练的图卷积神经网络。图3描述了网络嵌入和图神经网络的区别。

图2 网络嵌入 - 图神经网络

3 研究现状和热点
3.1 研究现状
首先，像CNN和RNN这样的标准神经网络无法正确处理图形输入，因为它们按特定顺序堆叠节点的特征。但是，图中没有自然的节点顺序。为了完整地呈现图形，我们应该遍历所有可能的顺序作为模型的输入，如CNN和RNN，这在计算时非常冗余。为了解决这个问题，GNN分别在每个节点上传播，忽略了节点的输入顺序。换句话说，GNN的输出对于节点的输入顺序是不变的。

其次，图中的边表示两个节点之间的依赖关系的信息。在标准神经网络中，依赖信息仅被视为节点的特征。但是，GNN可以通过图形结构进行传播，而不是将其用作要素的一部分。通常，GNN通过其邻域的状态的加权和来更新节点的隐藏状态。

第三，推理是高级人工智能的一个非常重要的研究课题，人脑中的推理过程几乎都是基于从日常经验中提取的图形。标准神经网络已经显示出通过学习数据分布来生成合成图像和文档的能力，同时它们仍然无法从大型实验数据中学习推理图。然而，GNN探索从场景图片和故事文档等非结构性数据生成图形，这可以成为进一步高级AI的强大神经模型。最近，已经证明，具有简单架构的未经训练的GNN也表现良好[23]。

有关于图神经网络存在若干综合评论种，[24]给出了早期图神经网络方法的正式定义，[25]演示了图神经网络的近似性质和计算能力，[26]提出统一的网络框架——MoNet，这个框架将CNN架构推广到非欧几里得域（图和流形），框架可以推广图上的几种谱方法，[27]以及流形上的一些模型[28]，[29],[30]提供了几何深度学习的全面回顾，提出了它的问题，困难，解决方案，应用和未来方向。

[26]和[30]侧重于将卷积推广到图形或流形，除此， 图形神经网络中还使用了其他机制，如门机制，注意机制和跳过连接。

[31]提出了消息传递神经网络（MPNN），它可以推广几种图形神经网络和图形卷积网络方法。它介绍了通过神经网络的消息的定义，并展示了它在量子化学中的应用。

[32]提出了非局部神经网络（NLNN），它统一了几种“自我关注”式的方法。但是，该模型未在原始论文的图表中明确定义。关注特定应用领域，[31]和[32]仅举例说明如何使用其框架推广其他模型，并且不提供对其他图神经网络模型的评论。

[33]提出了图形网络（GN）框架。该框架具有很强的推广其他模型的能力，其关系归纳偏差促进了组合概括，这被认为是人工智能的首要任务。

3.2 研究热点
图形神经网络已经在监督，半监督，无监督和强化学习设置的广泛问题领域中进行了探索。而在目前看来，相关的研究热点方向包括了以下三种：
（1）数据具有明确关系的结构场景，如物理系统，分子结构和知识图。
（2）非结构性场景，关系结构不明确，包括图像、文本等。
（3）其他应用场景，如生成模型和组合优化问题。

3.2.1 结构场景

1.物理：
对现实世界的物理系统进行建模是理解人类智能的最基本方面之一。通过将对象表示为节点，将关系表示为边，我们可以以简化但有效的方式执行关于对象，关系和物理的基于GNN的推理。
[34]提出了交互网络来预测和推断各种物理系统。该模型将对象和关系作为输入，关于它们的相互作用的原因，并应用效果和物理动力学来预测新状态。它们分别建模以关系为中心和以对象为中心的模型，使得更容易在不同系统中进行推广。视觉交互网络可以从像素进行预测。它从每个对象的两个连续输入帧中学习状态代码。然后，在通过交互网块添加其交互效果之后，状态解码器将状态代码转换为下一步的状态。
[35]提出了一种基于图形网络的模型，它可以执行状态预测或归纳推理。推理模型将部分观察到的信息作为输入，并构造隐式系统分类的隐藏图。

2.化学与生物学：
分子指纹计算分子指纹，即代表分子的特征向量，是计算机辅助药物设计的核心步骤。传统的分子指纹是手工制作和固定的。通过将GNN应用于分子图，我们可以获得更好的指纹。[36]提出了通过GCN计算子结构特征向量的神经图指纹，并求和得到整体表示
数据具有明确关系的结构场景蛋白质界面预测[36]侧重于蛋白质界面预测的任务，这是一个具有挑战性的问题，在药物发现和设计中具有重要的应用。分别提出了基于GCN的方法学习配体和受体蛋白残基表示并将它们合并用于成对分类。
GNN也可用于生物医学工程。通过蛋白质-蛋白质相互作用网络，[37]利用图卷积和关系网络进行乳腺癌亚型分类。[38]也提出了基于GCN的多种药物副作用预测模型。他们的工作模拟了药物和蛋白质相互作用网络，并分别处理不同类型的边缘。

3.知识图：
[39]利用GNN来解决知识库完成（KBC）中的知识库外（OOKB）实体问题。 [39]中的OOKB实体直接连接到现有实体，因此可以从现有实体聚合OOKB实体的嵌入。该方法在标准KBC设置和OOKB设置中都实现了令人满意的性能。
[40]利用GCN来解决跨语言知识图对齐问题。该模型将来自不同语言的实体嵌入到统一的嵌入空间中根据嵌入相似性对齐它们。

3.2.2 非结构性场景
1.图片:
图像分类图像分类是计算机视觉领域中一项非常基础和重要的任务，它引起了很多关注，并有许多着名的数据集，如ImageNet[41]。最近图像分类的进展受益于大数据和GPU计算的强大功能，这使我们能够在不从图像中提取结构信息的情况下训练分类器。然而，零射击和少射击学习在图像分类领域变得越来越流行，因为大多数模型可以用足够的数据实现类似的性能。视觉推理计算机视觉系统通常需要通过结合空间和空间来进行推理语义信息。因此，为推理任务生成图表是很自然的。
典型的视觉推理任务是视觉问题答案（VQA），[42]分别构建图像场景图和问题句法图。然后它应用GGNN来训练嵌入以预测最终答案。尽管物体之间存在空间联系，[43]建立了以问题为条件的关系图。利用知识图，[44]，[45]可以进行更精细的关系探索和更可解释的推理过程。
语义分割语义分割是图像理解的重要一步。这里的任务是为图像中的每个像素分配唯一的标签（或类别），这可以被视为密集的分类问题。然而，图像中的区域通常不是网格状的并且需要非本地信息，这导致传统CNN的失败。一些作品利用图形结构数据来处理它。[46]提出Graph-LSTM通过建立基于距离的超像素图形式的图形以及应用LSTM来全局传播邻域信息来模拟长期依赖性以及空间连接。后续工作从编码分层信息的角度对其进行了改进[47]。

2.文本:
图神经网络可以应用于基于文本的若干任务。它可以应用于句子级任务（例如文本分类）以及单词级任务（例如序列标记）。我们将在下面介绍几个主要的文本应用程序。文本分类文本分类是自然语言处理中的一个重要且经典的问题。分类GCN模型[48]，[49]，[50]，[51]，[52]和GAT模型[53]应用于解决问题，但他们只使用文档之间的结构信息，并且他们不使用太多的文本信息。 [54]提出了一种基于图CNN的深度学习模型，首先将文本转换为单词图形，然后在[55]中使用图卷积运算来卷积单词图。
[56]提出了句子LSTM来编码文本。它将整个句子视为单个状态，其由单个词的子状态和整个句子级状态组成。它使用全局句子级别表示来进行分类任务。这些方法要么将文档或句子视为单词节点的图形，要么依赖文档引用关系来构造图形。[57]将文档和单词视为节点来构建语料库图（因此是异构图），并使用Text GCN来学习单词和文档的嵌入。
神经机器翻译神经机器翻译任务通常被视为序列到序列任务。[58]介绍了注意机制并取代了最常用的复发或卷积层。实际上，Transformer假设语言实体之间存在完全连接的图形结构。
事件提取事件提取是一项重要的信息提取任务，用于识别文本中指定类型事件的实例。 [59]基于依赖树来研究一个卷积神经网络（确切地说是语法GCN）来执行事件检测。
[60]提出了一个联合多事件提取（JMEE）框架，通过引入句法快捷方式弧来共同提取多个事件触发器和参数，以增强基于注意力的图卷积网络的信息流，以模拟图形信息。

3.2.3 其他热点
1.生成模型：
现实世界图的生成模型已经引起了人们对其重要应用的重视，包括模拟社会交互，发现新的化学结构和构建知识图。由于深度学习方法具有强大的学习图的隐式分布的能力，最近神经图生成模型出现了激增。
NetGAN是第一个构建神经图生成模型的工作之一，它通过随机游走生成图形。它将图形生成的问题转化为步行生成问题，该问题将来自特定图形的随机游走作为输入，并使用GAN架构训练步行生成模型。虽然生成的图保留了重要的拓扑性质在原始图中，节点的数量在生成过程中无法改变，这与原始图相同。
GraphRNN设法通过逐步生成每个节点的邻接向量来生成图的邻接矩阵，其可以输出具有不同节点数的所需网络。
MolGAN不是依次生成邻接矩阵，而是立即预测离散图结构（邻接矩阵），并利用置换不变判别器来解决邻接矩阵中的节点变异问题。此外，它还将基于RL的优化奖励网络应用于所需的化学性质。

2.组合优化：
图中的组合优化问题是NP难问题的集合，引起了各个领域科学家的广泛关注。旅行商问题（TSP）和最小生成树（MST）等一些具体问题得到了各种启发式解决方案。最近，使用深度神经网络来解决这些问题已成为热点，并且由于其图形结构，一些解决方案进一步利用图形神经网络。
[61]首先提出了一种解决TSP的深度学习方法。他们的方法由两部分组成：用于参数化奖励的指针网络和用于训练的政策梯度模块。事实证明，这项工作可与传统方法相媲美。但是，指针网络设计用于文本等顺序数据，而顺序不变编码器更适合此类工作。
[62]通过包括图神经网络改进了方法。他们首先从structure2ve获取节点嵌入，这是GCN的变体，然后将它们提供给Q学习模块以进行决策。这项工作比以前的算法获得了更好的性能，证明了图神经网络的表示能力。
[63]提出了一种基于注意力的编码器 - 解码器算法。这种方法可以被视为图形注意网络，其读出阶段是基于注意力的解码器而不是强化学习模块，这在理论上对于训练是有效的。
[64]专注于二次分配问题，即测量两个图的相似性。基于GNN的模型独立地学习每个图的节点嵌入，并使用注意机制匹配它们。即使在基于标准松弛的技术似乎受到影响的制度中，该方法也提供了令人惊讶的良好性能。

4 下一步研究趋势

4.1 加深网络
深度学习的成功在于深度神经架构。例如在图像分类中，模型ResNet具有152层。但在图网络中，实证研究表明，随着网络层数增加，模型性能急剧下降。根据论文[65]，这是由于图卷积的影响，因为它本质上推动相邻节点的表示更加接近彼此，所以理论上，通过无限次卷积，所有节点的表示将收敛到一个点。这导致了一个问题：加深网络是否仍然是学习图结构数据的好策略？

4.2 感受野
节点的感受野是指一组节点，包括中心节点和其近邻节点。节点的近邻（节点）数量遵循幂律分布。有些节点可能只有一个近邻，而有些节点却有数千个近邻。尽管采用了采样策略 [66],[67],[68]，但如何选择节点的代表性感受野仍然有待探索。

4.3 可扩展性
大部分图神经网络并不能很好地扩展到大型图上。主要原因是当堆叠一个图卷积的多层时，节点的最终状态涉及其大量近邻节点的隐藏状态，导致反向传播变得非常复杂。虽然有些方法试图通过快速采样和子图训练来提升模型效[66], [68]，但它们仍无法扩展到大型图的深度架构上。

4.4 动态性和异质性
大多数当前的图神经网络都处理静态同质图。一方面，假设图架构是固定的。另一方面，假设图的节点和边来自同一个来源。然而，这两个假设在很多情况下是不现实的。在社交网络中，一个新人可能会随时加入，而之前就存在的人也可能退出该社交网络。在推荐系统中，产品可能具有不同的类型，而其输出形式也可能不同，也许是文本，也许是图像。因此，应当开发新方法来处理动态和异质图结构。

5 总结
在过去几年中，图形神经网络已成为图域中机器学习任务的强大而实用的工具。这一进展归功于表现力，模型灵活性和训练算法的进步。对于GNN模型，本文总结了几个通用框架，以统一表示不同的变体。在研究热点方面，本文将GNN应用程序划分为结构场景，非结构场景和其他场景，然后对每个场景中具体热点进行了讨论研究。最后，本文提出了下一步研究趋势，指出了图神经网络的主要挑战和未来研究方向，包括模型深度，可扩展性，处理动态图和非结构场景的能力。

6 参考文献
[1] M. Gori, G. Monfardini, and F. Scarselli, “A new model for learning in graph domains,” in Proceedings of the International Joint Conference on Neural Networks, vol. 2. IEEE, 2005, pp. 729–734.
[2] A. Micheli, “Neural network for graphs: A contextual construc-tive approach,” IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498–511, 2009.
[3] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,” in Proceedings of the International Conference on Learning Representations, 2017.
[4] Y. Li, D. Tarlow, M. Brockschmidt, and R. Zemel, “Gated graph sequence neural networks,” in Proceedings of the International Conference on Learning Representations, 2015.
[5] R. Levie, F. Monti, X. Bresson, and M. M. Bronstein, “Cayleynets: Graph convolutional neural networks with complex rational spectral filters,” IEEE Transactions on Signal Processing, vol. 67, no. 1, pp. 97–109, 2017.
[6] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 5115–5124.
[7] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in Proceedings of the International Conference on Machine Learning, 2016, pp. 2014–2023.
[8] H. Gao, Z. Wang, and S. Ji, “Large-scale learnable graph convolu-tional networks,” in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018, pp. 1416–1424.
[9] J. Zhang, X. Shi, J. Xie, H. Ma, I. King, and D.-Y. Yeung, “Gaan: Gated attention networks for learning on large and spatiotem-poral graphs,” in Proceedings of the Uncertainty in Artificial Intelli-gence, 2018.
[10] P. W. Battaglia, J. B. Hamrick, V. Bapst, A. Sanchez-Gonzalez, V.Zambaldi, M. Malinowski, A. Tacchetti, D. Raposo, A. Santoro, R.Faulkner et al., “Relational inductive biases, deep learning, and graph networks,” arXiv preprint arXiv:1806.01261, 2018.
[11] J. B. Lee, R. A. Rossi, S. Kim, N. K. Ahmed, and E. Koh, “Attention models in graphs: A survey,” arXiv preprint arXiv:1807.07984, 2018.
[12] Z. Zhang, P. Cui, and W. Zhu, “Deep learning on graphs: A survey,” arXiv preprint arXiv:1812.04202, 2018.
[13] P. Cui, X. Wang, J. Pei, and W. Zhu, “A survey on network em-bedding,” IEEE Transactions on Knowledge and Data Engineering, 2017.
[14] W. L. Hamilton, R. Ying, and J. Leskovec, “Representation learn-ing on graphs: Methods and applications,” in Advances in Neural Information Processing Systems, 2017, pp. 1024–1034.
[15] D. Zhang, J. Yin, X. Zhu, and C. Zhang, “Network representation learning: A survey,” IEEE Transactions on Big Data, 2018.
[16] H. Cai, V. W. Zheng, and K. Chang, “A comprehensive survey of graph embedding: problems, techniques and applications,” IEEE Transactions on Knowledge and Data Engineering, 2018.
[17] P. Goyal and E. Ferrara, “Graph embedding techniques, applica-tions, and performance: A survey,” Knowledge-Based Systems, vol. 151, pp. 78–94, 2018.
[18] S. Pan, J. Wu, X. Zhu, C. Zhang, and Y. Wang, “Tri-party deep network representation,” in Proceedings of the International Joint Conference on Artificial Intelligence. AAAI Press, 2016, pp. 1895– 1901.
[19] X. Shen, S. Pan, W. Liu, Y.-S. Ong, and Q.-S. Sun, “Discrete network embedding,” in Proceedings of the International Joint Con-ference on Artificial Intelligence, 7 2018, pp. 3549–3555.
[20] H. Yang, S. Pan, P. Zhang, L. Chen, D. Lian, and C. Zhang, “Binarized attributed network embedding,” in IEEE International Conference on Data Mining. IEEE, 2018.
[21] B. Perozzi, R. Al-Rfou, and S. Skiena, “Deepwalk: Online learning of social representations,” in Proceedings of the ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014, pp. 701–710.
[22] S. Cao, W. Lu, and Q. Xu, “Deep neural networks for learning graph representations,” in Proceedings of the AAAI Conference on Artificial Intelligence, 2016, pp. 1145–1152.
[23] T. Kawamoto, M. Tsubaki, and T. Obuchi, “Mean-field theory of graph neural networks in graph partitioning,” in NeurIPS 2018, 2018, pp. 4366–4376.
[24] F. Scarselli, M. Gori, A. C. Tsoi, M. Hagenbuchner, and G. Monfardini, “The graph neural network model,” IEEE TNN 2009, vol. 20, no. 1, pp. 61–80, 2009.
[25] “Computational capabilities of graph neural networks,”IEEE TNN 2009, vol. 20, no. 1, pp. 81–102, 2009.
[26] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” CVPR 2017, pp. 5425–5434, 2017.
[27] J. Atwood and D. Towsley, “Diffusion-convolutional neural networks,” in NIPS 2016, 2016, pp. 1993–2001.
[28] J. Masci, D. Boscaini, M. Bronstein, and P. Vandergheynst,“Geodesic convolutional neural networks on riemannian manifolds,” in ICCV workshops 2015, pp. 37–45.
[29] D. Boscaini, J. Masci, E. Rodola, and M. Bronstein, “Learning ` shape correspondence with anisotropic convolutional neural networks,” in NIPS 2016, 2016, pp. 3189–3197.
[30] M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, and P. Vandergheynst, “Geometric deep learning: going beyond euclideandata,” IEEE SPM 2017, vol. 34, no. 4, pp. 18–42, 2017.
[31] J. Gilmer, S. S. Schoenholz, P. F. Riley, O. Vinyals, and G. E. Dahl, “Neural message passing for quantum chemistry,” arXiv preprint arXiv:1704.01212, 2017.
[32] X. Wang, R. Girshick, A. Gupta, and K. He, “Non-local neural networks,” arXiv preprint arXiv:1711.07971, vol. 10, 2017.
[33] P. W. Battaglia, J. B. Hamrick, V. Bapst, A. Sanchez-Gonzalez, V. Zambaldi, M. Malinowski, A. Tacchetti, D. Raposo, A. Santoro, R. Faulkner et al., “Relational inductive biases, deep learning, and graph networks,” arXiv preprint arXiv:1806.01261, 2018.
[34] P. Battaglia, R. Pascanu, M. Lai, D. J. Rezende et al., “Interaction networks for learning about objects, relations and physics,” in NIPS 2016, 2016, pp. 4502–4510.
[35] A. Sanchez-Gonzalez, N. Heess, J. T. Springenberg, J. Merel, M. Riedmiller, R. Hadsell, and P. Battaglia, “Graph networks as learnable physics engines for inference and control,” arXiv preprint arXiv:1806.01242, 2018.
[36] D. K. Duvenaud, D. Maclaurin, J. Aguileraiparraguirre, R. Gomezbombarelli, T. D. Hirzel, A. Aspuruguzik, and R. P. Adams, “Convolutional networks on graphs for learning molecular fingerprints,” NIPS 2015, pp. 2224–2232, 2015.
[37] S. Rhee, S. Seo, and S. Kim, “Hybrid approach of relation network and localized graph convolutional filtering for breast cancer subtype classification,” arXiv preprint arXiv:1711.05859, 2017.
[38] M. Zitnik, M. Agrawal, and J. Leskovec, “Modeling polypharmacy side effects with graph convolutional networks,” arXiv preprint arXiv:1802.00543, 2018.
[39] T. Hamaguchi, H. Oiwa, M. Shimbo, and Y. Matsumoto, “Knowledge transfer or out-of-knowledge-base entities : A graph neural network approach,” in IJCAI 2017, 2017, pp. 1802–1808.
[40] Z. Wang, Q. Lv, X. Lan, and Y. Zhang, “Cross-lingual knowledge graph alignment via graph convolutional networks,” in EMNLP 2018, 2018, pp. 349–357.
[41] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein et al., “Imagenet large scale visual recognition challenge,” IJCV 2015, vol. 115, no. 3, pp. 211–252, 2015.
[42] D. Teney, L. Liu, and A. van den Hengel, “Graph-structured representations for visual question answering,” arXiv preprint, 2017.
[43] W. Norcliffe-Brown, S. Vafeias, and S. Parisot, “Learning conditioned graph structures for interpretable visual question answering,” in NeurIPS 2018, 2018, pp. 8344–8353.
[44] Z. Wang, T. Chen, J. Ren, W. Yu, H. Cheng, and L. Lin, “Deep reasoning with knowledge graph for social relationship understanding,” arXiv preprint arXiv:1807.00504, 2018.
[45] M. Narasimhan, S. Lazebnik, and A. Schwing, “Out of the box: Reasoning with graph convolution nets for factual visual question answering,” in NeurIPS 2018, 2018, pp. 2659–2670.
[46] X. Liang, X. Shen, J. Feng, L. Lin, and S. Yan, “Semantic object parsing with graph lstm,” ECCV 2016, pp. 125–143, 2016
[47] X. Liang, L. Lin, X. Shen, J. Feng, S. Yan, and E. P. Xing, “Interpretable structure-evolving lstm,” in CVPR 2017, 2017, pp. 2175–2184
[48] W. L. Hamilton, Z. Ying, and J. Leskovec, “Inductive representation learning on large graphs,” NIPS 2017, pp. 1024–1034, 2017.
[49] T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” ICLR 2017, 2017
[50] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” CVPR 2017, pp. 5425–5434, 2017.
[51] J. Atwood and D. Towsley, “Diffusion-convolutional neural networks,” in NIPS 2016, 2016, pp. 1993–2001.
[52] M. Henaff, J. Bruna, and Y. Lecun, “Deep convolutional networks on graph-structured data.” arXiv: Learning, 2015.
[53] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,” ICLR 2018, 2018
[54] H. Peng, J. Li, Y. He, Y. Liu, M. Bao, L. Wang, Y. Song, and Q. Yang, “Large-scale hierarchical text classification with recursively regularized deep graph-cnn,” in WWW 2018, 2018, pp. 1063–1072.
[55] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in ICML 2016, 2016, pp. 2014–2023
[56] Y. Zhang, Q. Liu, and L. Song, “Sentence-state lstm for text representation,” ACL 2018, vol. 1, pp. 317–327, 2018.
[57] L. Yao, C. Mao, and Y. Luo, “Graph convolutional networks for text classification,” arXiv preprint arXiv:1809.05679, 2018.
[58] A. Vaswani, N. Shazeer, N. Parmar, L. Jones, J. Uszkoreit, A. N. Gomez, and L. Kaiser, “Attention is all you need,” NIPS 2017, pp. 5998–6008, 2017.
[59] T. H. Nguyen and R. Grishman, “Graph convolutional networks with argument-aware pooling for event detection,” 2018
[60] X. Liu, Z. Luo, and H. Huang, “Jointly multiple events extraction via attention-based graph information aggregation,” arXiv preprint arXiv:1809.09078, 2018.
[61] I. Bello, H. Pham, Q. V. Le, M. Norouzi, and S. Bengio, “Neural combinatorial optimization with reinforcement learning,” arXiv preprint arXiv:1611.09940, 2016.
[62] E. Khalil, H. Dai, Y. Zhang, B. Dilkina, and L. Song, “Learning combinatorial optimization algorithms over graphs,” in NIPS 2017, 2017, pp. 6348–6358.
[63] W. Kool and M. Welling, “Attention solves your tsp,” arXiv preprint arXiv:1803.08475, 2018.
[64] A. Nowak, S. Villar, A. S. Bandeira, and J. Bruna, “Revised note on learning quadratic assignment with graph neural networks,” in IEEE DSW 2018. IEEE, 2018, pp. 1–5.
[65] D. Zugner, A. Akbarnejad, and S. G ¨ unnemann, “Adversarial ¨ attacks on neural networks for graph data,” in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2018, pp. 2847–2856.
[66] R. Levie, F. Monti, X. Bresson, and M. M. Bronstein, “Cayleynets: Graph convolutional neural networks with complex rational spectral filters,” IEEE Transactions on Signal Processing, vol. 67, no. 1, pp. 97–109, 2017.
[67] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 5115–5124.
[68] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in Proceedings of the International Conference on Machine Learning, 2016, pp. 2014–2023