加入收藏 | 设为首页 | 会员中心 | 我要投稿 滨州站长网 (https://www.0543zz.cn/)- CDN、边缘计算、物联网、云计算、运营!
当前位置: 首页 > 大数据 > 正文

人工智能的下个转折点:图神经网络迎来快速爆发期

发布时间:2021-06-10 18:17:33 所属栏目:大数据 来源:互联网
导读:01 GNN:从尝鲜进入快速爆发期 今年以来,图神经网络技术(Graph Neural Network, GNN)得到了学术界极大的关注与响应。各大学术会议纷纷推出 GNN 相关的 workshop,在投中的论文中,以 Graph Network 为关键词的论文数量也呈现井喷之势,下图给出了近三年,
01 GNN:从尝鲜进入快速爆发期

今年以来,图神经网络技术(Graph Neural Network, GNN)得到了学术界极大的关注与响应。各大学术会议纷纷推出 GNN 相关的 workshop,在投中的论文中,以 Graph Network 为关键词的论文数量也呈现井喷之势,下图给出了近三年,上述关键词在各学术会议上的增长趋势:

GNN 在经历过 2017-2018 年两年的孕育期与尝试期之后,在 2018 年末至今的一年多时间里,迎来了快速爆发期。从理论研究到应用实践,可谓是遍地开花,让人应接不暇。

在理论研究上,GNN 的原理解释、变体模型以及对各种图数据的拓展适配等工作成为了主流。而在应用实践上,GNN 更是展现出了前所未有的渗透性,从视觉推理到开放性的阅读理解问题,从药物分子的研发到 5G 芯片的设计,从交通流量预测到 3D 点云数据的学习,我们看到了 GNN 极其广阔的应用前景。

本文将对近一年各大顶级会议(如 ICML、NIPS、CVPR、ACL、KDD 等)上的 GNN 相关论文进行梳理,重点从理论研究和应用实践两方面解读过去一年 GNN 的进展。由于时间和篇幅有限,本文并没有对每一个方向都进行全面的总结与概括,感兴趣的读者可以根据文中给出的论文链接自行查漏补缺。

02 GNN 的原理、变体及拓展

GNN 作为一个新兴的技术方向,其原理解读以及各类变体与拓展构成了理论研究的热点,这些论文很好地回答了 GNN 的优缺点以及相关的适应性改造问题。

1. GNN 原理解读

当前 GNN 研究的第一个热点在于其相关能力的理论化研究。在 “How Powerful are Graph Neural Networks?” 和 “On the equivalence between graph isomorphism testing and function approximation with GNNs” 中,都对 GNN 在图同构问题上的表现进行了探讨。

图同构问题是辨别给定的两个图是否一致,同构图如下图所示。这个问题考验了算法对图数据结构的辨别能力,这两篇文章都证明了 GNN 模型具有出色的结构学习能力。

图中天然包含了关系,因此许多 GNN 相关的工作就建立在对给定系统进行推理学习的研究上,在这些研究中,“Can graph neural networks help logic reasoning? ” 和 “The Logical Expressiveness of Graph Neural Networks” 论证了 GNN 在逻辑推理上的优秀表现。“All We Have is Low-Pass Filters ” 从低通滤波的层面解释了 GNN 的有效性。

这些原理解读,有助于我们对 GNN 的特色专长建立一种更加清晰的认识。

2. GNN 的各类变体

GNN 模型的相关变体研究是领域内的另一个热点,这些变体在一些方面提升了 GNN 的能力表现。我们知道 GCN 模型来源于图信号上的傅里叶变换,“Graph Wavelet Neural Network” 引入了图信号上的小波变换来改造 GCN 模型,将卷积计算变换到空域局部邻域内。

将数据表征从欧式空间转化到双曲空间,不仅能获得更好地层次化表示,同时能大大节约空间维度,“Hyperbolic Graph Convolutional Neural Networks”和 “Hyperbolic Attention Networks” 同时将 GNN 拓展到了双曲空间上去。

在 “MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing” 和 “Diffusion Improves Graph Learning”中,同时将原始 GCN 中的邻居定义由一阶拓展到高阶,强化了模型低通滤波的特性。

(编辑:滨州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读