判别方法(Discriminative approach)

由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。

生成方法(Generative approach)

由数据学习联合概率密度分布P(X,Y),然后由P(Y|X)=P(X,Y)/P(X)求出条件概率分布P(Y|X)作为预测的模型,即生成模型。该方法表示了给定输入X与产生输出Y的生成关系。基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类。在这个过程需要求出训练数据的概率分布P(X),所以只要在数据样本非常多的时候,得到的P(X)才能很好的描述训练数据真正的分布【比如抛硬币】。生成模型用于随机生成的观察值建模,特别是在给定某些隐藏参数情况下。典型的生成模型有:朴素贝叶斯和隐马尔科夫模型等。

二、判别模型与生成模型

1.从直观可知:

生成模型 :源头导向型,关注数据时如何生成的,然后再对一个信号进行分类。(信号输入时,生成模型判断哪个类别最有可能产生这个信号,则这个信号就属于哪个类别。

判别模型 :结果导向型,关注类别之间的差别,并不关心样本的数据时怎么生成的,根据样本之间的“分界线"来简单对给定的样本进行分类。

2.从公式上可知:

生成模型 :学习时先得到P(X,Y),根据公式继而得到P(Y|X);预测时应用最大后验概率法(MAP)得到预测类别Y。

判别模型 :直接学习得到P(Y|X),再利用MAP得到Y;或者直接学习得到一个映射函数Y=F(X)

3.生成模型与判别模型的区别与联系

在讨论 生成 模型 判别 模型 之前,我们先回顾一下 机器学习 要解决的两类问题。 假设x是输入的特征(feature),y是预测的结果(分类是label,回归是value)。   1.分类:P(y|x) ,即根据输入特征求目标分类。   2.回归:y=f(x),即根据输入特征直接求值。 由于分类问题和回归可以相互转化,下文我们以分类为例。 判别 模型 判别 模型 直接求解条件概率... [email protected] http://blog.csdn.net/zouxy09        一直在看论文的过程中遇到这个问题,折腾了不少时间,然后是下面的一点 理解 ,不知道正确否。若有错误,还望各位前辈不吝指正,以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X)        监督学习的任务就是从数据中学习一个 模型 (也叫分 特性 生成 模型 判别 模型 学习目标联合分布 P(x,y)P(x,y)条件分布 $ P(y数据 生成 能力可以 生成 新数据无法 生成 新数据主要任务数据 生成 、密度估计、异常检测等分类、回归、序列标注等优势适合处理缺失数据、 生成 任务分类效果好,训练效率高劣势分类任务性能可能不佳,训练复杂无法 生成 数据,缺失数据处理能力较差典型 模型 朴素贝叶斯、GAN、VAE、HMM逻辑回归、SVM、神经网络。 机器学习 可以分为两大类: 生成 模型 (Generative Model)、 判别 模型 (Discriminative Model)。 现在有一堆球,颜色信息已知为绿色和黄色两种,有且仅有这两种颜色,这里,球的颜色为y(目标变量),坐标轴上位置为特征X。我们想要知道,如果在坐标轴的某一位置x新放入一个球,这个球会是什么颜色的? 1. 生成 模型 的思想: 生成 模型 使用的是联合概率P(X,Y),若已知x(球的坐标位置信息),通过计算出P(X,Y)我们就可以知道球的颜色。 P(X,Y) = P(Y)*P(X|Y),其中 在 机器学习 中,一般将学习方式分为和方式。监督学习的任务就是从数据中学习一个 模型 ,应用这一 模型 ,对给定的输入X预测相应的输出Y。这个 模型 的一般形式为:决策函数Y=f(X)或者条件概率分布P(Y|X)。和。 一、名词解释 生成 方法由数据学习联合概率风波P(X,Y),然后求出条件概率分布P(Y|X)为预测的 模型 ,即 生成 模型 : P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)​ 这样的方法之所以称为 生成 方法,是因为 模型 表示了给定输入X产生输出Y的 生成 关系。典型的 生成 模型 由朴素贝叶斯法和隐马尔可夫 模型 判别 方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测 模型 ,即 判别 模型 判别 方法关心的是对给定的输入X,应该预测什么样的输出 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi。 生成 模型 :学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布。能够学习到数据 生成 的机制。 判别 模型 :学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率。数据要求: 生成 模型 需要的数据量比较大,能够较好地估计概率密度;而 判别 模型 对数据样本量的要求没有那么多。两者的优缺点如下图... 生成 模型 可以用于 生成 新的样本,也可以用于推断未观察到的变量。然而,由于需要对整个联合概率分布进行建模, 生成 模型 可能对复杂的数据分布有较大的假设,并且在一些任务上可能产生不准确的样本。具体地,我们可以使用变分自编码器(Variational Autoencoder,VAE)作为 生成 模型 来学习人脸的潜在表示,并使用卷积神经网络(CNN)作为 判别 模型 来将潜在表示映射到身份类别上。GMM可以将语音信号分解为多个高斯分布,并学习这些高斯分布的参数,从而能够对新的语音信号进行建模并输出最有可能的文本串。 生成 模型 判别 模型 区别 1.监督学习分为 生成 模型 判别 模型 有监督 机器学习 方法可以分为 生成 方法和 判别 方法(常见的 生成 方法有混合高斯 模型 、朴素贝叶斯法和隐形马尔科夫 模型 等,常见的 判别 方法有SVM、LR等), 生成 方法学习出的是 生成 模型 判别 方法学习出的是 判别 模型 。 2. 生成 模型 生成 模型 主要是求解联合概率密度,比如我们有数据集:(C,X),其中(c,x)表示其中一个样本,c为类别,x为特征。那么对于 生成 模型 来说我们需要求解p(x,c)的联合概率密 1) 判别 模型 学习P(x|y)。是用一个 模型 或函数直接拟合概率分布P(y|x),拟合P(x|y),是拟合从果到因的关系,即在Y发生的条件下,X发生的概率,对应实际训练中,是根据label来训练 模型 ,再来判断类别,这种拟合出来的 模型 判别 模型 。(2) 生成 模型 学习P(y|x)。公式拆解为三个部分P(y∣x)=P(x)P(x∣y)P(y)​。...