相关文章推荐
帅气的松球  ·  Day 07：撰寫第一支CNN 程式 -- ...·  2 年前    · 
听话的手套  ·  “选项”>“文本编辑器”>“HTML ...·  2 年前    · 
老实的橙子  ·  明明有可用物理内存却提示内存不足 - ...·  2 年前    · 
忧郁的大葱  ·  MATLAB科学绘图 - 知乎·  3 年前    · 
小百科  ›  生成模型与判别模型的区别与理解原创
预训练模型 预测模型 分类数据
朝气蓬勃的面包
1 年前

判别方法（Discriminative approach）

由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。

生成方法（Generative approach）

由数据学习联合概率密度分布P(X,Y)，然后由P(Y|X)=P(X,Y)/P(X)求出条件概率分布P(Y|X)作为预测的模型，即生成模型。该方法表示了给定输入X与产生输出Y的生成关系。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。在这个过程需要求出训练数据的概率分布P(X)，所以只要在数据样本非常多的时候，得到的P(X)才能很好的描述训练数据真正的分布【比如抛硬币】。生成模型用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下。典型的生成模型有：朴素贝叶斯和隐马尔科夫模型等。

二、判别模型与生成模型

1.从直观可知：

生成模型 ：源头导向型，关注数据时如何生成的，然后再对一个信号进行分类。（信号输入时，生成模型判断哪个类别最有可能产生这个信号，则这个信号就属于哪个类别。

判别模型 ：结果导向型，关注类别之间的差别，并不关心样本的数据时怎么生成的，根据样本之间的“分界线"来简单对给定的样本进行分类。

2.从公式上可知：

生成模型 ：学习时先得到P（X,Y)，根据公式继而得到P（Y|X)；预测时应用最大后验概率法（MAP）得到预测类别Y。

判别模型 ：直接学习得到P（Y|X)，再利用MAP得到Y；或者直接学习得到一个映射函数Y=F(X）

3.生成模型与判别模型的区别与联系

在讨论 生成 模型 和 判别 模型 之前，我们先回顾一下 机器学习 要解决的两类问题。 假设x是输入的特征(feature)，y是预测的结果(分类是label，回归是value)。   1.分类：P(y|x) ，即根据输入特征求目标分类。   2.回归：y=f(x)，即根据输入特征直接求值。 由于分类问题和回归可以相互转化，下文我们以分类为例。 判别 模型 判别 模型 直接求解条件概率... [email protected] http://blog.csdn.net/zouxy09        一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点 理解 ，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X)        监督学习的任务就是从数据中学习一个 模型 （也叫分 特性 生成 式 模型 判别 式 模型 学习目标联合分布 P(x,y)P(x,y)条件分布 $ P(y数据 生成 能力可以 生成 新数据无法 生成 新数据主要任务数据 生成 、密度估计、异常检测等分类、回归、序列标注等优势适合处理缺失数据、 生成 任务分类效果好，训练效率高劣势分类任务性能可能不佳，训练复杂无法 生成 数据，缺失数据处理能力较差典型 模型 朴素贝叶斯、GAN、VAE、HMM逻辑回归、SVM、神经网络。 机器学习 可以分为两大类： 生成 式 模型 （Generative Model）、 判别 式 模型 （Discriminative Model）。 现在有一堆球，颜色信息已知为绿色和黄色两种，有且仅有这两种颜色，这里，球的颜色为y（目标变量），坐标轴上位置为特征X。我们想要知道，如果在坐标轴的某一位置x新放入一个球，这个球会是什么颜色的？ 1. 生成 式 模型 的思想： 生成 式 模型 使用的是联合概率P(X,Y)，若已知x（球的坐标位置信息），通过计算出P(X,Y)我们就可以知道球的颜色。 P(X,Y) = P(Y)*P(X|Y)，其中 在 机器学习 中，一般将学习方式分为和方式。监督学习的任务就是从数据中学习一个 模型 ，应用这一 模型 ，对给定的输入X预测相应的输出Y。这个 模型 的一般形式为：决策函数Y=f(X)或者条件概率分布P(Y|X)。和。 一、名词解释 生成 方法由数据学习联合概率风波P(X,Y)，然后求出条件概率分布P(Y|X)为预测的 模型 ，即 生成 模型 ： P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)​ 这样的方法之所以称为 生成 方法，是因为 模型 表示了给定输入X产生输出Y的 生成 关系。典型的 生成 模型 由朴素贝叶斯法和隐马尔可夫 模型 。 判别 方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测 模型 ，即 判别 模型 。 判别 方法关心的是对给定的输入X，应该预测什么样的输出 从概率分布的角度考虑，对于一堆样本数据，每个均有特征Xi对应分类标记yi。 生成 模型 ：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据 生成 的机制。 判别 模型 ：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。数据要求： 生成 模型 需要的数据量比较大，能够较好地估计概率密度；而 判别 模型 对数据样本量的要求没有那么多。两者的优缺点如下图... 生成 模型 可以用于 生成 新的样本，也可以用于推断未观察到的变量。然而，由于需要对整个联合概率分布进行建模， 生成 模型 可能对复杂的数据分布有较大的假设，并且在一些任务上可能产生不准确的样本。具体地，我们可以使用变分自编码器（Variational Autoencoder，VAE）作为 生成 模型 来学习人脸的潜在表示，并使用卷积神经网络（CNN）作为 判别 模型 来将潜在表示映射到身份类别上。GMM可以将语音信号分解为多个高斯分布，并学习这些高斯分布的参数，从而能够对新的语音信号进行建模并输出最有可能的文本串。 生成 模型 和 判别 模型 的 区别 1.监督学习分为 生成 模型 和 判别 模型 有监督 机器学习 方法可以分为 生成 方法和 判别 方法（常见的 生成 方法有混合高斯 模型 、朴素贝叶斯法和隐形马尔科夫 模型 等，常见的 判别 方法有SVM、LR等）， 生成 方法学习出的是 生成 模型 ， 判别 方法学习出的是 判别 模型 。 2. 生成 模型 生成 模型 主要是求解联合概率密度，比如我们有数据集：（C，X），其中（c,x）表示其中一个样本，c为类别，x为特征。那么对于 生成 模型 来说我们需要求解p(x,c)的联合概率密 1） 判别 模型 学习P(x|y)。是用一个 模型 或函数直接拟合概率分布P(y|x)，拟合P(x|y)，是拟合从果到因的关系，即在Y发生的条件下，X发生的概率，对应实际训练中，是根据label来训练 模型 ，再来判断类别，这种拟合出来的 模型 叫 判别 模型 。（2） 生成 模型 学习P(y|x)。公式拆解为三个部分P(y∣x)=P(x)P(x∣y)P(y)​。...
 
推荐文章
帅气的松球  ·  Day 07：撰寫第一支CNN 程式 -- 比較 『阿拉伯數字』辨識力 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天
2 年前
听话的手套  ·  “选项”>“文本编辑器”>“HTML (Web 窗体)”>“格式化” - Visual Studio (Windows) | Microsoft Learn
2 年前
老实的橙子  ·  明明有可用物理内存却提示内存不足 - Microsoft Community
2 年前
忧郁的大葱  ·  MATLAB科学绘图 - 知乎
3 年前
Link管理   ·   Sov5搜索   ·   小百科
小百科 - 百科知识指南