图内核注意力转换器（译文）.md

图内核注意力转换器：面向表达性和可扩展的图处理

翻译：

图神经网络 (GNN) 处理图数据结构的能力使其适用于社交网络、生物信息学以及机器人技术中的导航和规划问题中的实际应用。但是，尽管 GNN 越来越受欢迎，但也并非没有局限性，包括处理效率、高计算复杂性问题以及密集图的二次内存要求。
为了解决这些问题，谷歌大脑、哥伦比亚大学和牛津大学的一个研究团队提出了一类新的图神经网络，图核注意力变换器（GKATs），它结合了图核、基于注意力的网络和结构先验，以及最近的通过低秩分解技术应用小内存占用隐式注意方法的转换器架构。该团队证明 GKAT 比 SOTA GNN 具有更强的表达能力，同时还减少了计算负担。

论文Graph Kernel Attention Transformers首先提出了一个问题：“是否有可能设计具有密集单个层的 GNN，显式建模图中更长范围的节点到节点关系，从而实现更浅的架构，同时扩展到更大的（不一定是稀疏的）图？” 欢迎小伙伴们交流学习！ 然后研究人员总结了他们的 GKAT 方法相对于以前方法的优势：

• GKAT 能够对单个注意力层内的远距离节点之间的依赖关系进行建模。
• GKAT 注意力层可扩展线性时间和内存，如果图内核具有有限（至少在期望上）（随机）特征表示，则不需要显式存储图表示（例如邻接矩阵）来计算注意力层。
• GKAT 非常灵活，因为它们可以与各种图形内核一起使用。

提议的 GKAT 受到最近对密集线性注意力转换器的研究的启发，其中研究表明基于内核的方法对稀疏注意力层非常有效。沿着这条路径，GKAT 将每一层内的图注意力建模为节点特征向量的核矩阵和图核矩阵的哈达玛乘积。这使 GKAT 能够利用计算效率高的隐式注意机制并在单层内对更远距离的依赖项进行建模，从而将其表达能力提升到超越传统 GNN 的水平。

为了在图节点上定义可实现高效映射的表达内核，研究人员采用了一种新颖的随机游走图节点内核 (RWGNKs) 方法，其中两个节点的值作为两个频率向量的点积给出，这些向量记录了图节点中的随机游走。

完整的 GKAT 架构由几个块组成，每个块由注意力层和标准 MLP 层构建而成。注意层与输入图的节点数成线性关系而不是二次方，因此与其常规的图注意力对应物相比降低了计算复杂度。

为了使用 RWGNK 内核评估 GKAT，该团队进行了从纯组合到生物信息学任务的实验。他们将 GKAT 与图卷积网络 (GCN)、谱图卷积网络 (SGC)、图注意力网络 (GAT) 等进行了比较。

在模体检测任务上，GKAT 在所有模体上都优于所有其他方法。GKAT 在四分之三的生物信息学数据集上也表现出最佳性能，并且在五分之四的社交网络数据集中位列前两名。在时间复杂度测试实验中，GKAT 比其 GCN、GAT 和 SGC 对应物更快。

总体而言，提议的 GKAT 在广泛的任务中表现出卓越的性能，从纯粹的组合问题到社交网络数据再到生物信息学挑战，表明它们能够在降低计算成本的同时提高表达能力。

选自：Graph Kernel Attention Transformers 作者：Hecate He

推荐阅读

• 微分算子法
• 使用PyTorch构建神经网络模型进行手写识别
• 使用PyTorch构建神经网络模型以及反向传播计算
• 如何优化模型参数，集成模型
• TORCHVISION目标检测微调教程