|
|
相关文章推荐
|
聪明伶俐的铁板烧 · python ...· 1 年前 · |
|
|
聪明伶俐的铁板烧 · 聚类评估指标系列(一)：标准化互信息NMI计 ...· 1 年前 · |
|
|
聪明伶俐的铁板烧 · Jupyter ...· 1 年前 · |
|
|
聪明伶俐的铁板烧 · 最大互信息系数（MIC）与minepy的使用 ...· 1 年前 · |
|
|
聪明伶俐的铁板烧 · 大数据风控---互信息及Python实现_B ...· 1 年前 · |
推荐文章
如果从VAE角度看，DEEP INFOMAX有两点贡献：
1、引入了局部互信息，这个大大提升了特征提取效果；
2、使用f散度的估计方法取代了$q(x|z)$的直接计算（也就是说不用重构原图）。
还有，如果按照你的解释，最优解的情况下就有p(z)=q(z)，那么把公式2的第一项中的q(z)直接换成p(z)，那不是就直接等于X和Z的互信息了吗？这个loss就变成了互信息-互信息？期待苏神针对这个想法做进一步的推导哈哈~
我修改了一下，应该是目前这样描述才对。
根据贝叶斯公式$q(x|z)$满足$q(x|z)p(z)=p(z|x)\tilde{p}(x)$，这里$p(z)$是真实的隐变量分布，这个结果不依赖于对$p(z)$的先验分布假设，所以还不能直接替换为$q(z)$，应该用回原始的$p(z)$。
我的理解是第二项有两层含义吧，$\frac{q(x|z)}{\bar{p}(x)}=\frac{q(x|z)}{p(x|z)}\frac{p(x|z)}{\bar{p}(x)}$,前一个代表了$q(x|z)$的强拟合能力，后一项代表了互信息吧
不是，就是直接拿
$$p(z|x)\tilde{p}(x)/p(z)=\frac{p(z|x)\tilde{p}(x)}{\int p(z|x)\tilde{p}(x) dx}$$
去替换$q(x|z)$的意思。因为我们已经知道了$q(x|z)$的最优解是它，而且这里我们又不需要$q(x|z)$做生成模型。所以从理论角度，这个替换没有问题。后面就是用f-gan的结果进行近似了。
不知道可不可以这样简单的证明，$p(x,z)$是真实联合分布，在最优解的情况下，$KL(p(x,z)||q(x,z))=0$, $p(x,z)=q(x,z)$, $p(z)p(x|z)=q(z)q(x|z)$, 因为$q(x|z)$具有无限拟合的能力，所以$q(x|z)=p(x|z)$, 得出$p(z)=q(z)$. 请指教。
看完这个推导很好奇，能不能从这里出发做一些关于在VAE上disentangle变量的工作呢？近期的一系列paper,比如beta-VAE,FactorVAE和今年NIPS的isolating sources of disentanglement in variational autoencoders都是在VAE的loss的KL项上面做拆解和reweight，那可不可以从这里得到一些新的思路呢？
我已经做了一些探究了，但是普适性不强，在图像上有类似infomax（ https://kexue.fm/archives/6024 ）的表现，在nlp中却不够好。而且我发现，原来的infomax在nlp上的表现也不好。
感觉你经常能从别人提出的模型或者loss function里面找到一些新的insight，佩服佩服。因为我最近对VAE的disentangle非常感兴趣，不知道你是否对上述提到的那一系列文章的loss有新的见解呢？
$q(x|z)$理论上可以具有无限的拟合能力，而且如果$q(x|z)$真的具有无限的拟合能力，能够完成重构出$x$出来，这是好事。
但是实际上我们做不到这一点，VAE中，真正实验的时候，我们通常只是让$q(x|z)$是高斯分布，这就没有无限的拟合能力。如果做不到这一点，强迫重建，可能会让模型在特征提取的时候抓不到重点，所以干脆还不如不重构。
至于本文，是希望给出一个VAE的分解理解的理论视角，在这种纯分析的情况下，我们可以假设$q(x|z)$具有无限的拟合能力。正如VAE本身并没有假设$q(x|z)$是高斯分布，理论上它可以是任意复杂的分布，只是落实到实验中我们迫不得已而已。
信息瓶颈告诉我们尽量用最少的信息来完成任务。
注意要先有任务，然后完成任务，然后才减少互信息。而VAE中的任务其实就是最大化$x,z$的互信息，而最小化先验分布的KL散度会产生两个效应：1、确实也在降低互信息；2、使得$z$的分布更符合正态分布。
虽然第一个效应与任务本身矛盾，但事实上第二个loss的增大效应会比KL散度的降低效应会强很多，因此第一个效应虽然矛盾，但无伤大雅；所以最小化KL散度主要是“使得$z$的分布更符合正态分布”。
谢谢你的回答。
请问这里可以这样来理解吗，第一项最小化的是编码器的输入与输出间的互信息，从而可以促使编码器学习到更有效、更泛化的特征；第二项最大化的是解码器的输入与输出间的互信息，促使解码器在解码时能够充分利用到z的信息。
这两项虽然都是关于x与z的互信息，但一个是对于编码器的，另一个是对于解码器的。
博主你好，我不明白这个VAE的objective怎么从最大化p(x)变成KL散度了。
结论也与我现在的观察冲突。在beta-vae中，beta=0近似于AE，beta=1为VAE。我目前观察到的现象是beta越大I(x,z)越小。