|
|
相关文章推荐
|
逼格高的投影仪 · 【论文阅读】MAGNN: Metapath ...· 4 月前 · |
|
|
逼格高的投影仪 · HAN - Heterogeneous ...· 4 月前 · |
|
|
逼格高的投影仪 · 基于异质图表达学习的跨境电商推荐模型· 4 月前 · |
|
|
逼格高的投影仪 · 西北大学创新论坛第一千七百三十二讲：异配图表 ...· 4 月前 · |
-
-
- 1 相关介绍
-
论文题目：Heterogeneous Graph Attention Network (HAN) 异构图（异质图）注意力网络
作者：北京邮电大学的Xiao Wang, Houye Ji等人
来源：WWW 2019
论文链接： https://arxiv.org/pdf/1903.07293.pdf
tensorflow版代码Github链接： https://github.com/Jhy1993/HAN
介绍视频： https://www.bilibili.com/video/av53418944/
文中提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。注意力机制包括节点级注意力和语义级注意力。节点的注意力主要学习节点及其邻居节点间的权重，语义级的注意力是来学习基于不同meta-path的权重。最后，通过相应地聚合操作得到最终的节点表示。
1 相关介绍
以 Graph Convolutional Network，Graph Attention Network 为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以很自然地建模为异质图（多种类型的节点和边）。如图 1 所示，IMDB 数据中包含三种类型的节点 Actor、Movie 和 Director，两种类型的边 Actor-Movie 和 Movie-Director。
相对于同质图神经网络，异质图神经网络具有更强的现实意义可以更好的满足工业界需求。如阿里巴巴正在建设亿级节点十亿级边的异质图神经网络平台 AliGraph 来满足整个阿里集团各种商业化场景需求。因此亟需展开面向异质图的图神经网络模型研究，而异质图的异质性却又给设计图神经网络带来了巨大的挑战。
元路径 meta-path
在异构图中，两个节点可以通过不同的语义路径连接，称为元路径（meta-path），如图1中，Movie-Actor-Movie（MAM）和Movie-Year-Movie (MYM)都是不同的meta-path。不同的meta-path有不同的语义。如图1中， meta-path Movie-Actor-Movie (MAM)表示电影的演员相同， meta-path Movie-Director-Movie (MDM) 表示电影的导演相同。
数学定义：一个meta-path A_{1} \stackrel{R_{1}}{\longrightarrow} A_{2} \stackrel{R_{2}}{\longrightarrow} \dots \stackrel{R_{l}}{\longrightarrow} A_{l+1} A 1 ⟶ R 1 A 2 ⟶ R 2 … ⟶ R l A l + 1 组成的路径(可以缩写成 i 自身。
异构图和同构图
- Heterogeneous Graph（异构图）：异构图是一种特殊的异构信息网络，包含了多种类型的边和节点。例如，图1中的演员节点的特征可能包括性别，年龄和国籍，而电影节点的特征可能包括情节，演员等。边的不同类型可以体现在电影与导演的拍摄关系演员与电影的角色扮演关系。
- Homogeneous Graph（同构图）：同构图的节点类型和边的类型单一。例如，引文网络中的节点都是文档。
在设计异质图神经网络的时候，从异质图的复杂结构出发，需要满足下面三个要求：
- 图的异质性 ：考虑不同节点和不同关系的差异。不同类型节点有其各自的特征，节点的特征空间也不尽相同。如何处理不同类型的节点并同时保留各自的特征是设计异质图神经网络时迫切需要解决的问题；
- 语义级别注意力 ：学习meta-path的重要性并融合语义信息。异构图涉及到不同的有意义和复杂的语义信息，这些信息通常由meta-path来反映，对于某个具体任务，不同meta-path表达的语义不同，因此对任务的贡献也不同。例如，以IMDB数据集为例，电影《终结者》要么通过Movie-Actor-Movie（MAM）的方式与《终结者2》连接（主演相同），要么通过Movie-Year-Movie (MYM) 的方式与《Irdyvia》连接（均于1984年拍摄）。在确定了电影《终结者》的类型时，连接方式MAM比MYM更有意义。平等地对待不同的meta-path是不现实的，它会削弱一些有用的meta-path所提供的信息。因此，如何设计针对meta-path的注意力机制是异质图神经网络中的一个基本问题；
- 节点级别注意力 ：学习基于meta-path的节点邻居的重要性。在异构图中，节点可以通过各种类型的关系（如meta-path）连接。给定meta-path，每个节点都有很多基于meta-path的邻居。如何区分邻居间的细微差别，选择一些信息量大的邻居是有必要的。对于每个节点，节点级注意力的目的是学习基于meta-path的邻居的重要性，并为它们分配不同的注意力值。仍然以IMDB为例，当使用meta-path为 Movie-Director-Moive，终结者将连接到《终结者2》（二者导演相同）。为了更好地确定《终结者》科幻电影的类型，模型应该更多地关注《终结者2》，而不是《泰坦尼克号》，因此，如何设计一个模型来发现邻居们之间的细微差别并正确地学习他们的权重将是一个值得研究的问题。
Graph Neural Network
GNN作为深度学习领域的扩展，用来处理无规则图结构数据。GCN可以分为两类，分别是谱域和非谱域。谱方法用于谱表示的图中，非谱域方法直接在图上进行卷积，对空间上的近邻进行操作。
注意力机制在深度学习中有广泛的应用，self-attention、soft-attention等。也已经有很多基于图Attention的应用，上述图神经网络不能处理各种类型的节点和边，只能应用于同构图。
Network Embedding
网络嵌入或者网络表示学习，是在保留网络结构及其属性的前提下，将网络转换到低维空间以应用。以往的方法有很多，随机游走、 深度神经网络、矩阵分解和其他方法，如LINE，也都是基于同构图的。
- 第一次基于注意力机制的异构图神经网络研究。
- 提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。HAN模型是高效的，相对于meta-path节点对的数目具有线性复杂度，可以应用于大规模异构图。
- 进行了广泛的实验，以评估HAN模型的性能。结果表明，该模型与现有模型相比具有优越性。通过分析这种分层的注意力机制，证明了HAN对异质图分析具有潜在地良好的解释能力。
2 HAN模型
HAN模型遵循一个层次注意力结构：节点级注意力→语义级注意力。图2展示了汉语言的整个框架。首先，我们提出阳极级注意来学习基于元路径的邻域的权值，并对其进行聚合得到语义特定的节点嵌入，然后，HAN通过语义级注意来区分元路径的不同，从而得到特定任务的语义特定的节点嵌入的最优加权组合。
- 图2是HAN整个框架的示意图
- 图2-a（节点级注意力）：所有类型的节点都被投影到一个统一的特征空间中，通过节点级的注意力机制来学习基于meta-path的邻居节点的权重并将它们进行聚合得到特定语义的节点embedding。
- 图2-b（语义级注意力）：联合学习每个meta-path的权重，并通过语义级注意力融合前面得到的语义特定的节点embedding。
- 图2-c ：计算损失和对提出的HAN进行端到端的优化。
2.1 Node-level Attention
给定某条meta-path，可以利用节点级注意力来学习特定语义下的节点表示。文中应用一个特定类型的转换矩阵 \tag{2} e_{i j}^{\Phi}=att_{node}\left(\mathbf{h}_{i}^{\prime}, \mathbf{h}_{j}^{\prime} ;\Phi\right) e i j Φ = a t t n o d e ( h i ′ , h j ′ ; Φ ) ( 2 )
\tag{3} \alpha_{i j}^{\Phi}=\operatorname{softmax}_{j}\left(e_{i j}^{\Phi}\right)=\frac{\exp \left(\sigma\left(\mathbf{a}_{\Phi}^{\mathrm{T}} \cdot\left[\mathbf{h}_{i}^{\prime} \| \mathbf{h}_{j}^{\prime}\right]\right)\right)}{\sum_{k \in \mathcal{N}_{i}^{\Phi}} \exp \left(\sigma\left(\mathbf{a}_{\Phi}^{\mathrm{T}} \cdot\left[\mathbf{h}_{i}^{\prime} \| \mathbf{h}_{k}^{\prime}\right]\right)\right)} α i j Φ = s o f t m a x j ( e i j Φ ) = ∑ k ∈ N i Φ exp ( σ ( a Φ T ⋅ [ h i ′ ∥ h k ′ ] ) ) exp ( σ ( a Φ T ⋅ [ h i ′ ∥ h j ′ ] ) ) ( 3 )
\tag{4} \mathbf{z}_{i}^{\Phi}=\sigma\left(\sum_{j \in \mathcal{N}_{i}^{\Phi}} \alpha_{i j}^{\Phi} \cdot \mathbf{h}_{j}^{\prime}\right) z i Φ = σ ⎝ ⎛ j ∈ N i Φ ∑ α i j Φ ⋅ h j ′ ⎠ ⎞ ( 4 )
\tag{5} \mathbf{z}_{i}^{\Phi}=\mathop{||}\limits_{k=1}^K \sigma\left(\sum_{j \in \mathcal{N}_{i}^{\Phi}} \alpha_{i j}^{\Phi} \cdot \mathbf{h}_{j}^{\prime}\right) z i Φ = k = 1 ∣∣ K σ ⎝ ⎛ j ∈ N i Φ ∑ α i j Φ ⋅ h j ′ ⎠ ⎞ ( 5 )
给定meta-path集合 \left\{\mathrm{Z}_{\mathrm{\Phi}_{0}}, \mathrm{Z}_{\mathrm{\Phi}_{1}}, \ldots, \mathrm{Z}_{\Phi_{P}}\right\} { Z Φ 0 , Z Φ 1 , … , Z Φ P } 。异构图中每个节点包含了很多种类型的语义信息（每个meta-path可以对应一个语义信息）。为了学到更复杂的节点embedding，需要将这些不同的语义信息进行融合。为此，文中提出了一个语义级attention，它可以学习不同的meta-path的重要性并将其融合。语义级attention的输入就是节点级attention的 \left\{\mathrm{Z}_{\mathrm{\Phi}_{0}}, \mathrm{Z}_{\mathrm{\Phi}_{1}}, \ldots, \mathrm{Z}_{\Phi_{P}}\right\} { Z Φ 0 , Z Φ 1 , … , Z Φ P } ，令 \tag{6} \left(\beta_{\Phi_{0}}, \beta_{\Phi_{1}}, \ldots, \beta_{\Phi_{P}}\right)=att_{sem}\left(\mathbf{Z}_{\Phi_{0}}, \mathbf{Z}_{\Phi_{1}}, \ldots, \mathbf{Z}_{\Phi_{P}}\right) ( β Φ 0 , β Φ 1 , … , β Φ P ) = a t t s e m ( Z Φ 0 , Z Φ 1 , … , Z Φ P ) ( 6 )
a t t s e m 表示执行语义级attention的神经网络2.2 Semantic-level Attention
为了学到每一个meta-path的重要性，使用一个线性转换（文中使用一层MLP）来转换特点语义的embedding。
文中将学到的特定语义的embeddings度量为使用一个语义级的attention向量 \tag{7} w_{\Phi_{i}}=\frac{1}{|\mathcal{V}|} \sum_{i \in \mathcal{V}} \mathbf{q}^{\mathrm{T}} \cdot \tanh \left(\mathbf{W} \cdot \mathbf{z}_{i}^{\Phi}+\mathbf{b}\right) w Φ i = ∣ V ∣ 1 i ∈ V ∑ q T ⋅ tanh ( W ⋅ z i Φ + b ) ( 7 )
\tag{8} \beta_{\Phi_{i}}=\frac{\exp \left(w_{\Phi_{i}}\right)}{\sum_{i=1}^{P} \exp \left(w_{\Phi_{i}}\right)} β Φ i = ∑ i = 1 P exp ( w Φ i ) exp ( w Φ i ) ( 8 )最后融合通过不同的meta-path得到的语义级的embeddings：
F 1 , F 2 分别是转换矩阵的行数和列数，总的复杂度和节点数量和基于meta-path的节点对的数量呈线性关系；
\tag{10} L=-\sum_{l \in \mathcal{Y}_{L}} \mathbf{Y}^{l} \ln \left(\mathbf{C} \cdot \mathbf{Z}^{l}\right) L = − l ∈ Y L ∑ Y l ln ( C ⋅ Z l ) ( 1 0 ) - 整个模型的Attention是共享的，因此参数的数量不取决于异构图的规模，能够应用于inductive的问题；
- 该模型对于学习节点embedding具有很好的可解释性 。基于注意力值，可以检查哪些节点或meta-path对相关任务做出了更高的贡献，这有助于分析和解释实验结果。
3.1 数据集
- DBLP
- ACM
- IMDB
3.2 Baselines
- DeepWalk：为异构图而设计的使用随机游走的网络embedding方法
- ESim
- metapath2vec
- HERec
- GCN
- GAT
- K 的数量就是节点的种类数。
- 评价指标：NMI、ARI。
- 相对于当前最优算法，本文所提出的模型表现更好。
- 同时，去除节点级别和语义级别注意力后，模型的效果有不同程度的降低。这验证了节点级别注意力和语义级别注意力的有效性。
3.6 分层注意力机制的分析
node-level attention 分析
- 节点级注意力赋予了同类型的邻居更高的权重。
semantic-level attention 分析
- 在语义级别，对较为重要的meta-path，也就是该条meta-path在聚类任务上具有较大的 NMI 值，HAN 会赋予他们相应较大的权重，因此 HAN 可以自动选取较为重要的节点邻居及meta-path。
3.7 可视化
- 可以清楚地看到：HAN 所学习到的节点表示具有更强的表示能力，可以清晰的将不同领域的作者分为 4 类。
3.8 参数分析
- 最终的embedding K 的数量：数量增加，HAN性能提升，但是提升缓慢，也使得训练过程更稳定
有错误的地方还望不吝指出，欢迎进群交流GNNs&GCNs（ 入群备注信息!!!，格式：姓名 -（学校或其他机构信息）- 研究方向 ）。
4 参考和资源
一个介绍视频： https://www.bilibili.com/video/av53418944/
论文题目： Heterogeneous Graph Attention Network 论文来源： WWW 2019 论文链接：https://arxiv.org/abs/1903.07293v1 代码链接：https://github.com/Jhy1993/ HAN 关键词：社交 网络 , 神经 网络 , 图 分析, 注意力 机制( Attention ) 文章目录1 摘要2 引言3 定义4 HAN 模型 4.1 ...首先确定要返回叶子 节点 。叶子 节点 特征，左右 节点 都为空。 接着是要舍去右叶子 节点 返回值，在右 节点 进行递归的时候，调用另一个方法为了避免传进去的右 节点 是右叶子 节点 。 传递进来的树只有1个数或者0个数的情况，对第一次传递的树进行1个或0个判断，如果判断成功，直接返回0。论文题目： Heterogeneous Graph Attention Network （ HAN ） 异构 图 注意力 网络 作者：北京邮电大学Xiao Wang，Houye Ji等人 来源： WWW 2019 论文链接：https://arxiv.org/pdf/1903.07293.pdf tensorflow版代码Github链接：https://github.com/Jhy1993/ HAN HAN HAN HAN 源代码地址：https://github.com/Jhy1993/ HAN HAN HAN HAN 论文地址：http:// www .shichuan.org/doc/66.pdf HAN \qquad HAN HAN 是在GATGATGAT的基础上实现的，它的 模型 分为两部...提出了一种基于分层注意的 异构 图 神经 网络 （ HAN ），包括 节点 级和语义级注意，同时考虑了 节点 和元路径的重要性，并具有较高的效率。 该算法在 异构 图 分析中具有良好的可解释性。 Note： 异构 性是 异构 图 的内在属性，即具有各种类型的 节点 和边。不同类型的 节点 具有不同的特征，其特征可能落在不同的特征空间中。 二、主要方法 节点 级注意： 节点 级注意的目的是了解基于元路径的邻居 节点 的重要性，并为它们分配不同的注意值。题目：《 Heterogeneous 题目：《 Heterogeneous 题目：《 Heterogeneous Graph Graph Graph Attention Attention Attention Network 》 Network 》 Network 》 ???? 作者：Xiao作者：Xiao作者：Xiao WangWangWang 来源： WWW 2019 来源： WWW 2019 来源： WWW 2019 源码：源码：源码：...这篇论文提出了用于建模Web规模异质 图 的异质 图 转换架构（HGT）。 为了对异质的 节点 和边进行建模，作者设计了和 节点 类别、边类别有关的参数，来表征在每个边上的异质性的 注意力 ，这使得HGT可以为不同类型的 节点 和边生成专用的表示。 HGT还可以处理动态的异质 图 。作者在HGT中引入相对时间编码技术，可以捕获到任意时间段内的动态结构依赖关系。 为了能够处理Web规模的 图 数据，还设计了mini-batch 图 采样算法——HGSampling，实现高效并可扩展的训练。 参考博客：https://b AttPool: Towards Hierarchical Feature Representation in Graph Convolutional Networks via Attention SAGPool - Self-Attention Graph Pooling ICML 2019 -
推荐文章
|
|
逼格高的投影仪 · 基于异质图表达学习的跨境电商推荐模型 4 月前 |