【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network ..._小百科

相关文章推荐

逼格高的投影仪 · 【论文阅读】MAGNN: Metapath ...· 4 月前 ·

逼格高的投影仪 · 书籍推荐| ...· 4 月前 ·

逼格高的投影仪 · HAN - Heterogeneous ...· 4 月前 ·

逼格高的投影仪 · 基于异质图表达学习的跨境电商推荐模型· 4 月前 ·

逼格高的投影仪 · 西北大学创新论坛第一千七百三十二讲：异配图表 ...· 4 月前 ·

用于异质图嵌入的元路径聚合图神经网络

摘要
1 引言
2 准备工作
3 相关工作
- 3.1 GNN
- 3.2 异质图嵌入
4 方法
- 4.1 节点内容转换
- 4.2 元路径内部聚合
- 4.3 元路径间的聚合
- 4.4 元路径实例编码器
- 4.5 训练
- - 4.5.1 半监督学习
  - 4.5.2 无监督学习
  异质图嵌入是将异质图丰富的结构和语义信息嵌入到低维节点表示中。针对此问题，本文提出了一种新的模型MAGNN。具体来说，MAGNN使用了三个主要组件：
  - 用于封装输入节点属性的 节点内容转换
  - 用于合并中间语义节点的 元路径内部聚合
  - 用于合并来自多个元路径的消息的 元路径间聚合
  在三个真实的异质图数据集上进行了大量的节点分类、节点聚类和链路预测实验表明，MAGNN有更准确的预测结果。
  
  现有的模型通常是在异质图中定义多个元路径，以捕获复合关系（语义）并指导邻域选择。虽然这些基于元路径的嵌入方法在节点分类和链路预测等各种任务上优于传统的网络嵌入方法，但它们仍然存在以下至少一个限制：
  - 忽略节点内容特征 ，因此很少在具有丰富节点内容特征的异质图上表现良好（e.g.，metapath2vec，ESim，HIN2vec，HERec）。
  - 只考虑两个端节点，从而 丢弃了元路径上的所有中间节点 ，从而导致信息丢失（e.g.，HERec，HAN）。
  - 只依赖于单个元路径 ，因此需要人工选择元路径，丢失了来自其他元路径的部分信息，导致性能不佳（e.g.，metapath2vec）。
  为了解决以上问题，本文提出了一种新的用于异质图嵌入的元路径聚合图神经网络（MAGNN）。
  
  MAGNN由三个部分组成：
  1. 节点内容转换
  2. 元路径内部聚合
  3. 元路径间的聚合
  具体来说，MAGNN首先利用特定类型的线性变换，将不同类型节点的可能不同维度的属性信息投影到相同的潜在向量空间。接下来，对每个元路径应用具有注意力机制的元路径内部聚合。在元路径内部聚合过程中，每个目标节点都会从连接该节点与其基于元路径的邻居的元路径实例中提取和组合信息。通过这种方式，MAGNN从邻居节点和两者之间的元路径上下文中捕获异质图的结构和语义信息。在元内聚合之后，MAGNN进一步利用注意力机制进行元路径间的聚合，将从多条元路径获得的潜在向量融合到最终的节点嵌入中。
  - 提出了一种新的用于异质图嵌入的元路径聚合图神经网络。
  - 设计了几个候选编码器函数，用于从元路径实例中提取信息，其中一个基于复杂空间中的关系旋转思想。
  - 在IMDb和DBLP数据集上进行了大量的节点分类和节点聚类的实验，并且在Last.fm数据集上进行了链路预测，以评估提出的模型的性能。实验表明，MAGNN学习到的节点嵌入始终优于其他最先进的 BaseLine 生成的节点嵌入。
  2 准备工作
  
  本节给出了与异质图相关的一些重要术语的正式定义。相关定义的图示见图1。
  
  异质图（Heterogeneous Graph）：
  $\text{ }A_1\text{ }\underrightarrow{R_1}\text{ }A_2\text{ }\underrightarrow{R_2}\text{ }...\text{ }\underrightarrow{R_l}\text{ }A_{l+1}$
  
  例如，考虑到图1中的元路径UATA，艺术家Queen是用户Bob的基于元路径的邻居。这两个节点通过元路径实例Bob-Beatles-Rock-Queen连接，Beatles和Rock为这个元路径实例的中间节点。
  
  基于元路径的图（Metapath-based Graph）：
  给定异质图 $，它可以用于许多下游任务，如节点分类、节点聚类和链路预测。这背后的原理是每个节点自然地由其自身的特征及其邻域来定义。遵循这一思想，并基于图信号处理，首次开发了基于频谱的GNNs，用于在图的傅里叶域中进行图卷积。 ChebNet 利用切比雪夫多项式对图傅里叶域中的图信号（节点特征）进行滤波。 GCN 约束和简化了ChebNet的参数，以缓解过拟合问题，提高性能。然而，基于频谱的GNNs具有较差的可扩展性和泛化能力，因为它们需要整个图作为每一层的输入，并且它们的滤波器依赖于图拉普拉斯的特征基，这与特定的图结构密切相关。$
  
  基于空域的GNNs可以解决这两个问题。这类GNN通过聚合每个节点的邻居的特征信息，直接在图域中定义卷积，从而模仿CNN对图像数据的卷积操作。下面列举了一系列基于空域的方法。
  
  以上提到的所有GNN要么是为齐次图而构建的，要么是为具有特殊结构的图而设计的，就像在用户-商品推荐系统中一样。由于大多数现有的GNN在相同的共享嵌入空间中操作节点特征，因此它们不能自然地适应具有节点特征位于不同空间中的异质图。
  
  3.2 异质图嵌入
  
  异质图嵌入的目的是将异质图中的节点投影到低维向量空间中。 metapath2vec 生成由单个元路径引导的随机游走，该随机游走随后被输入到skip-gram模型来生成节点嵌入。给定用户定义的元路径， ESIM 通过从采样的正、负元路径实例中学习来生成节点嵌入。 HIN2vec 执行多个预测训练任务来学习异质图的节点和元路径的表示。给定一个元路径， HERec 将异质图转换为基于元路径的邻居的齐次图，并应用DeepWalk模型来学习目标类型的节点嵌入。与HERec一样， HAN 以类似的方式将异质图转换为多个基于元径的齐次图，但它使用图注意力网络体系结构来聚合来自邻居的信息，并利用注意力机制组合各种元路径。 PME 通过将节点嵌入投影到相应的关系空间以及优化投影节点之间的接近性来学习节点嵌入。
  
  然而，上述异质图嵌入方法都有以下局限性：要么忽略节点内容特征，要么丢弃元路径上的所有中间节点，要么只使用单个元路径。
  
  图2说明了单个节点的嵌入生成。
  
  4.1 节点内容转换
  
  对于与节点属性相关联的异质图，不同的节点类型可能具有不同的特征向量维数。即使它们恰好是相同的维度，它们也可能位于不同的特征空间中。例如，texts的 $类型节点的参数权值矩阵。$
  
  节点内容转换处理源自节点内容特征的图的异构性。应用此操作后，所有节点的投影特征都共享相同的维度，从而方便了下一个模型组件的聚合过程。
  
  4.2 元路径内部聚合
  
  给定一个元路径 $类型节点的元路径的数量。一种直接的元路径间聚合方法是采用这些节点向量的元素平均值。我们通过利用注意力机制来为不同的元路径分配不同的权重来扩展这种方法。这种操作是合理的，因为元路径在异质图中并不同等重要。$
  
  首先，针对每条元路径
  
   4.4 元路径实例编码器
  
  本节对应4.2节(2)中的元路径实例编码函数
  
  MAGNN前向传播算法如下：
  
  4.5 训练
  
  经过上述的三个部分，得到了最终的节点表示，可用于下游任务。根据不同任务的特点和节点标签的可用性，我们可以在两种主要的学习范式中训练MAGNN，即半监督学习和无监督学习。
  
  4.5.1 半监督学习
  
  在一小部分标记节点的指导下，可以通过反向传播和梯度下降来最小化交叉熵来优化模型的权重，从而学习针对异质图的有意义的节点嵌入。这种半监督学习的交叉熵损失被表述为：
  
  其中，
  
  Graph Neural Network s: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
  
  【论文解读 WWW 2020 | MAGNN 】 Meta path Aggregate d Graph Neural Network for Heterogeneous Graph Embedding
  
  论文题目： MAGNN : Meta path Aggregate d Graph Neural Network for Heterogeneous Graph Embedding 论文来源：WWW 2020 论文链接：https://arxiv.org/pdf/2002.01680.pdf 代码链接：https://github.com/cynricfu/ MAGNN 关键词：神经网络，表示学习，社交网...
  
  1. 前言论文链接：https://dl.acm.org/doi/10.1145/3292500.3330673 github：https://github.com/cynricfu/ MAGNN 异质图嵌入是将异质图的丰富结构信息嵌入到低维节点表示中。现有的模型通常是定义一个异质图中的多个元路径，用于捕获复合关系和指导邻域选择。然而，这些模型存在着几个问题省略节点内容特性沿着元路径丢弃中间节点只考虑一个元路径为了解决这三个问题，本文提出了一种新的异质图神经网络( MAGNN )模型来提高算法的性能
  
  Fan S, Zhu J, Han X, et al. Meta path -guided Heterogeneous Graph Neural Network for Intent Recommendation[J]. 2019. https://github.com/googlebaba/KDD2019-MEIRec Abstract 与传统的查询推荐和项目推荐不同，意图推荐是在用户打开应用程序时...
  
  Graph Convolutional Neural Network s for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural network s for graph -structured data have led to state-of-the-art pe...
  
  MAGNN : Meta path Aggregate d Graph Neural Network for Heterogeneous Graph Embedding 这篇文章发表于WWW 2020。 Motivation 现在GNN（图神经网络）体系中先进的方法都假设输入是同构图，无法用于异构图的嵌入表示。现存的异构图嵌入方法都是基于 meta - path 的概念（具体概念可以参考前两篇异构神经网络论文），但这些方法都存在至少以下的一个问题：模型没有利用节点的内容信息特征，所以往往对于节点信息丰富的异构图，表现的
  【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding Maxey0: 我感觉这个方法的link prediction结果相较于卷积神经网络而言显得有点过于夸张了，以至于几乎没有后续文章再和magnn的结果进行比较......另外一个值得注意的是magnn在面对大型数据集时一个epoch需要很长的计算时间，不知道有没有朋友有同感？对比学习（contrastive learning） hey makabaka!: 写得很好，感谢博主【论文阅读】DMGI：Unsupervised Attributed Multiplex Network Embedding Sakura_My: 你好，我也想知道这个问题，明明说是无监督的，但是代码用到了原始数据集的标签【论文阅读】 Dimensionality reduction for large-scale neural recordings CSDN-Ada助手: 你好，CSDN 开始提供 #论文阅读# 的列表服务了。请看：https://blog.csdn.net/nav/advanced-technology/paper-reading?utm_source=csdn_ai_ada_blog_reply 。如果你有更多需求，请来这里 https://gitcode.net/csdn/csdn-tags/-/issues/34?utm_source=csdn_ai_ada_blog_reply 给我们提。对比学习（contrastive learning） black_xiu: 博主，对比学习可以用来处理一维的数据嘛？就是光谱图那样的曲线数据

推荐文章

逼格高的投影仪 · 【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network ...

4 月前

逼格高的投影仪 · 书籍推荐| 全球首本《异质图表示学习与应用》-腾讯云开发者社区 ...

4 月前

逼格高的投影仪 · HAN - Heterogeneous Graph Attention Network 异构图注意力网络 ...

4 月前

逼格高的投影仪 · 基于异质图表达学习的跨境电商推荐模型

4 月前

逼格高的投影仪 · 西北大学创新论坛第一千七百三十二讲：异配图表示学习理论与方法 ...

4 月前

Link管理 · 51好读 · Sov5搜索 · 小百科

小百科 - 百科知识指南