|
|
相关文章推荐
|
暗恋学妹的小摩托 · 概念解析| 电磁计算的新篇章：智能电磁计算· 1 月前 · |
|
|
逼格高的投影仪 · 【论文阅读】MAGNN: Metapath ...· 4 月前 · |
|
|
逼格高的投影仪 · HAN - Heterogeneous ...· 4 月前 · |
|
|
逼格高的投影仪 · 基于异质图表达学习的跨境电商推荐模型· 4 月前 · |
|
|
逼格高的投影仪 · 西北大学创新论坛第一千七百三十二讲：异配图表 ...· 4 月前 · |
一.论文概述
作者提出了Graph Transformer Network (GTN)用来在异配图（heterogeneous graph）上学习节点表示。通过Graph Transformer层，模型能将异构图转换为由meta-path定义的多个新图，这些meta-paths具有任意的边类型和长度，通过在学得的meta-path对应的新图上进行卷积能获取更有效的节点表示。在几个异配图数据集上的实验结果也验证了GTN的有效性。
二.预备知识
v_1 \stackrel{t_1}{\longrightarrow} v_2 \stackrel{t_2}{\longrightarrow} \ldots \stackrel{t_l}{\longrightarrow} v_{l+1} v 1 ⟶ t 1 v 2 ⟶ t 2 … ⟶ t l v l + 1 ，其中 H^{(l+1)}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}\right) H ( l + 1 ) = σ ( D ~ − 2 1 A ~ D ~ − 2 1 H ( l ) W ( l ) )其中
先前的工作中meta-paths需要人工构造，而Graph Transformer Networks却可以通过给定的数据和任务来学习meta-paths，然后对学到的meta-paths进行图卷积。
Graph Transformer (GT)层中meta-path的生成由两个组件。首先GT层从候选邻接矩阵
Q=F\left(\mathbb{A} ; W_\phi\right)=\phi\left(\mathbb{A} ; \operatorname{softmax}\left(W_\phi\right)\right)
Q
=
F
(
A
;
W
ϕ
)
=
ϕ
(
A
;
softmax
(
W
ϕ
)
)
其中
A_P=\left(\sum_{t_1 \in \mathcal{T}^e} \alpha_{t_1}^{(1)} A_{t_1}\right)\left(\sum_{t_2 \in \mathcal{T}^e} \alpha_{t_2}^{(2)} A_{t_2}\right) \cdots\left(\sum_{t_l \in \mathcal{T}^e} \alpha_{t_l}^{(l)} A_{t_l}\right)
A
P
=
(
t
1
∈
T
e
∑
α
t
1
(
1
)
A
t
1
)
(
t
2
∈
T
e
∑
α
t
2
(
2
)
A
t
2
)
⋯
(
t
l
∈
T
e
∑
α
t
l
(
l
)
A
t
l
)
其中
∏
i
=
0
l
α
t
i
(
i
)
进行获取，它表明了meta-path在预测任务上的重要程度。表3展示了文献中广泛使用的预定义meta-paths，以及GTN学习的具有高注意力分数的meta-paths。
- 从表3可以看出，通过领域知识预定义的meta-paths与GTN中学得的排名靠前的meta-paths一致。这表明GTN能学习任务meta-path的重要性。此外，GTN还挖掘了不包含在预定义meta-path集的meta-paths。
- 图3展示了每个GT层的邻接矩阵的注意力分数，(a)为DBLP，(b)为IMDB。与DBLP相比，单位阵在IMDB中有更高的注意力分数。通过给单位阵分配更高的注意力分数，GTN试图坚持更短的meta-paths，即使在更深的层。这表明GTN更根据数据集自适应学习最有效的meta-path的能力。