近年来,图神经网络(GNNs)已经被广泛应用于推荐系统中,以编码图结构中存在的用户和商品之间的关系信息。其关键思想是聚合邻居信息来更新节点特征,并通过图网络层进行消息传递。然而,很多基于 GNN 的协同过滤模型仅编码同构的交互关系,且只在单一的用户-商品关系图上进行。而在现实推荐场景中,包含多种重要语义关系的复杂图结构(也称为异构图信息网络)是无处不在的,例如可能存在社交关系和基于商品知识的商品之间的连接关系。
因此许多研究者尝试基于功能强大的图神经网络去设计异构图学习模型,可以将其丰富的语义关系信息图编码成潜在的表征。但是异构图神经网络模型表征学习的潜在能力受限于稀疏的标签信息,可能导致产生质量不高的用户和商品的特征表示。
作为可以解决数据稀疏问题的技术,对比自监督学习能从无标签的数据中学习潜在的数据结构关系利用数据增强方法。其与图神经网络的结合称之为图对比学习也已经成为提升表示学习鲁棒性的有效方法。图对比学习的通用做法是研究两个图对比视角的特征表示的一致性。使正样本之间的特征相似性最大化而其余的负样本特征的距离推远。受之启发,我们利用图对比学习的潜在能力增强协同过滤的特征学习。
但是直接使用它来实现异构图关系学习是具有挑战性,因为辅助信息域视角和用户-商品交互信息域视角之间的依赖关系不是固定的而是多样性的。例如,由于样本个性化特质和各式的特定于用户的行为模式导致不同的用户受朋友影响是不同的。从而盲目的增强用户的偏好特征学习没有考虑每个个体行为的特性会带来模型的次优化效果。总之,此模型需要解决以下两个问题:1)如何实现有效地跨关系视角的知识转换;2)如何实现个性化增强的异构图对比学习。
本文提出了一个新颖的异构图对比学习框架,具体介绍如下。
2.1 基于异质图关系的特征学习
本文采用基于图神经网络的异构图对比学习框架,与其他异构图特征学习方法不同的是,它不依赖于人工设计的元路径或随机游走等方式来学习节点特征的相似性,而是分别对不同的语义关系编码形成图邻接矩阵。在每层网络的输出中,通过跨关系视图的特征融合获取潜在的高阶语义信息,并输出用户和商品在两个协同关系下的特征表示。
2.2 跨视图的元学习神经网络
我们的模型旨在通过引入用户社交关系和商品之间的连接关系来增强协同过滤。然而,这些额外的关系对于不同的用户具有不同的影响,因此我们采用个性化的知识转换网络来从辅助信息域视角获取特定知识,以指导特定用户偏好的学习。我们提出了一个跨视图的元神经网络,可以实现定制化的关系协同知识学习机制。整个实现过程主要分为元知识提取和跨视图的个性化知识转换两个部分。
元知识提取是为了构建个性化的特征映射机制函数,从辅助域视角(user-user,item-item)到目标交互行为域视角(user-item)。简单来说,元知识提取就是针对每个参与个体,基于其个体特质信息和特定的行为模式,通过映射函数对辅助域信息与目标域特征之间的依赖关系或者影响进行隐含的量化。在用户和商品方面,元知识提取方法如下:
本文中设定的元知识包含了两个待转换关系视角的信号依赖相关的上下文知识表示,例如对于用户方面,其元知识包含了用户特征表示、用户所交互过的商品特征表示以及目标交互信息的表示。商品侧同理。联合这三个维度的特定语义信息,产生的元知识可以很好地折射出极其重要且相关的上下文信息,有助于实现跨视图的特征个性化转换。
经过元知识学习器(两层全连接层网络)学习后,提取到的元知识会为每个个体产生一套特定的参数矩阵,可作为知识转换网络的特定参数,实现个性化的特征转换。为了减少参数量,本文采用矩阵因式分解方法生成两个维度小于原始特征维度的矩阵。
接下来,我们利用输出的参数矩阵和非线性映射函数来构建模型的特定化转换网络,针对每个样本,实现对辅助域特征表示的个性化转换,从而对齐目标域特征空间。
上述过程针对跨视图用户特征的特定化计算方法。商品特征的特定化也采用了相同的方式。元神经网络的训练通过滤除从辅助视角到用户-商品视角匹配过程中的噪声信号,使其可以有效地训练。
2.3 异质图对比学习的增强
我们方法采用异质关系图中多视图关系(用户侧:社交关系图的用户特征和交互关系图的用户特征;商品侧:商品属性关系图的商品特征和交互关系图的商品特征)。跨视图的特征对比学习也增强了模型特征和关系的学习和鲁棒性,归因于其产生的更多的监督信号来解决数据稀疏性问题。
对辅助域特征进行个性化转换后对齐于用户-商品交互视角的特征空间,辅助域视角的特征充当了有效的正则化项来促进用户-商品交互行为的建模利用自监督信号。而且对齐方式是自适应的通过元神经网络的个性化映射函数。
将对齐后的辅助域特征,而不是原始异质关系学习模块输出的辅助域特征,与交互关系视角的特征进行对比学习,用户侧的 InfoNCE 损失函数表达式:
同理,我们可以得到商品侧的对比学习损失。
在三个常用的数据集(Yelp、Epinions 和 Ciao)上,我们进行了实验,并与多种类型的推荐算法模型进行了比较。
从对比结果来看,引入自监督学习方法(如 Heco, MHCN, SMIN)可以使模型的效果得到提升,而本文所提出的 HGCL 相比较于使用传统的对比学习方法,推荐性能进一步提升,也表明了本文所描述方法的有效性。我们做了消融实验来进一步验证引入特定化的异构图对比学习方法是必要的且有利于模型效果的提升。
观察消融实验结果,我们可以发现 HGCL 模型在推荐性能上优于去除对比学习模块的 w/o-cl 模型。同样,使用对比学习方法但消除元神经网络部分的 w/o-meta 模型在性能上也低于 HGCL 模型。
这些结果符合我们的预期,表明考虑特定于用户或商品的个性化知识转换对异构图特征学习是有益的。观察 w/o-ii 和 w/o-uu 的实验结果,进一步证实了引入异构辅助信息有助于增强用户喜好特征的学习。为了评估 HGCL 模型在不同稀疏度情况下的表现,我们进行了稀疏度实验,与另外5个基准模型进行对比。
实验结果图清楚地表示了我们模型在不同数据稀疏情况的较好的模型表现,模型效果的优越性可能来自于模型中基于跨视图知识转换的对比学习的作用,因为它可以有效地捕捉到特定于用户的社交关系的影响和特定于商品的语义相关性。
进一步地,我们对模型学习到的个性化对比转换参数矩阵()进行了可视化实验。主要是通过实例验证受朋友影响程度更多()和影响程度更少的用户()的个性化转换参数矩阵的值是否符合模型的设定。
模型通过结合异质图对比学习和元神经网络,实现了自适应的跨视图对比数据增强,以适应用户个性化的特质。实验结果表明,模型能够成功捕捉用户之间的差异,并根据这些差异进行相应的调整数据增强,从而进一步提升推荐性能。
本文针对推荐任务中可能存在的异质关系表示学习问题,提出了一种新颖的对比学习框架。模型通过考虑协同对比视图间的关系影响的知识转换,实现了一种自适应的方式,从而应对特定个体和特质的行为差异性。这种方法充分利用了个性化对比学习策略,有助于增强表征学习的区分性,进而提高模型的性能和鲁棒性。
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?
答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是
最新论文解读
,也可以是
学术热点剖析
、
科研心得
或
竞赛经验讲解
等。我们的目的只有一个,让知识真正流动起来。
📝
稿件基本要求:
• 文章确系个人
原创作品
,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以
markdown
格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供
业内具有竞争力稿酬
,具体依据文章阅读量和文章质量阶梯制结算
📬
投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(
pwbot02
)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
现在,在
「知乎」
也能找到我们了
进入知乎首页搜索
「PaperWeekly」
点击
「关注」
订阅我们的专栏吧
@Paperweekly 原创 · 作者 |陈梦如单位 |华南理工大学研究方向 | 推荐系统论文题目:Heterogeneous Graph Contrastive Learning for Recommendation收录会议:WSDM 2023论文链接:https://arxiv.org/abs/2303.00995代码链接:https://github.com/HKUDS/HGCL港大数...
从随机失踪的隐式反馈
中
获得公正的推荐
学习
该存储库与由Yuta Saito,Suguru Yaginuma,Yuta Nishino,Hayato Sakata和Kazuhide Nakata在论文“不失进行的”
中
进行的真实实验相结合,该论文已被接受。 。
如果您发现此代码对您的研究有用,请引用:
@inproceedings{saito2020unbiased,
title={Unbiased Recommender Learning from Missing-Not-At-Random Implicit Feedback},
author={Saito, Yuta and Yaginuma, Suguru and Nishino, Yuta and Sakata, Hayato and Nakata, Kazuhide},
booktitle={Proceedi
真棒RSPaper
包括的会议:SIGIR 2020,SIGKDD 2020,RecSys 2020,CIKM 2020,AAAI 2021,
WSDM
2021,WWW 2021
LightGCN:简化和增强
图
卷积网络以进行推荐。 SIGIR 2020
基于VAE的
推荐系统
的深度批评。 SIGIR 2020
推荐的邻居交互感知
图
卷积网络。 SIGIR 2020
使用贝叶斯
图
卷积
神经网络
推荐准确和多样项目的框架。 2020年
双通道超
图
协同过滤。 2020年
针对Top-K推荐的具有自适应余量的概率度量
学习
。 2020年
用于增强推荐的内容协作解缠表示
学习
。 RecSys 2020
再谈神经协作过滤与矩阵分解。 RecSys 2020
用于协同过滤的双边变式自动编码器。
WSDM
2021
使用
推荐系统
的超立方体
学习
用户表示。
WSDM
2021
本地协作自动
推荐预测的知识
图
:
万维网,2019年。曹一欣,王向,何湘南,胡自坤,蔡达生。
关键词:
图
形嵌入,问题,技术与应用IEEE知识和数据工程学报,2018年。蔡H,郑大众,ChangK。
关键词:知识嵌入,推荐
学习
arXiv预印本arXiv:1803.06540,2018.Zhang
Q,Chen
arXiv预印本arXiv:1803.03467,2018.Wang
H,Zhang
F,Wang
KDD,2019年。王翔,何湘南,曹以新,刘萌和蔡达生。
可解释推荐的知识
图
:
AAAI,2019年。Wang
X,Wang
WSDM
,2019年。W
Zhang,B
Paudel,W
Zhang,A
Bernstein等。
arXiv预印本arXiv:1903.03714,2019。
WWW,2019.昂宏伟,张福正,赵M,李文杰,谢星,郭敏仪。
博客参考:
$ python3 bid_ss.py
运行后,您可以在控制台
中
打印性能表,如下所示:
setting objective auction impression click cost win-rate CPM eCPC
ipinyou, camp=1458, algo=ss_mdp, N=1000, c0=0.03125 11 350000
综述 |
异质
图
嵌入综述: 方法、技术、应用和资源:
https://cloud.tencent.com/developer/article/1766217
异质
图
神经网络
学习
笔记
https://zhuanlan.zhihu.com/p/113242299
DGL更新报告:异构
图
神经网络
https://www.jiqizhixin.com/articles/2019-10-14-5
首先确定要返回叶子节点。叶子节点特征,左右节点都为空。
接着是要舍去右叶子节点返回值,在右节点进行递归的时候,调用另一个方法为了避免传进去的右节点是右叶子节点。
传递进来的树只有1个数或者0个数的情况,对第一次传递的树进行1个或0个判断,如果判断成功,直接返回0。
此存储库包含用于运行论文的代码,《联合在线
学习
以演化策略进行排名》,
WSDM
2019
为了重现实验,我们需要(1)设置合适的python环境,以及(2)下载本文
中
使用的数据集。 下面的步骤假定我们仅出于运行此代码的目的而创建了一个新的conda环境。
首先,您需要安装PyTorch( )。 接下来,我们将创建一个conda环境:
conda create --name federated python=3.6
source activate federated
# assuming you want to checkout the repo in the current directory
git clone https://github.com/facebookresearch/foltr-es.git && cd foltr-es
pip i
异构
图
表示
学习
(附录)
基于
对比学习
的关系感知异构
图
神经网络
(Relation-aware Heterogeneous Graph Neural Network with Contrastive Learning, RHCO)见 readme基于
图
神经网络
的学术推荐算法(Graph Neural Network based Academic Recommendation Algorithm, GARec)见 readme
在根目录下创建文件.mylogin.cnf