一个事物内部会有随机性，也就是不确定性，假定为

几乎所有的自然语言处理、信息与信号处理的应用都是一个 消除不确定 的过程。

自然语言的统计模型中，一元模型是通过词本身的概率分布来消除不确定因素，而二元及更高阶的语言模型还使用了上下文的信息。

在数学上可以严格证明为什么这些“相关的”信息也能消除不确定性——条件熵（Conditional Entropy）。

——两个随机事件“相关性”的量化度量。

假定有两个随机事件 P ( Y ) 三个概率，从而很容易计算出互信息。因此互信息被广泛用于度量一些语言现象的相关性。

机器翻译中最难的两个问题之一就是词义的二义性（又称歧义性，Ambiguation）问题。使用互信息是解决这个问题最简单而实用的方法。例如：

• Bush 一词可以是美国总统的名字，也可以是灌木丛。
• 解决思路：首先从大量文本中找出和总统Bush一起出现的互信息最大的一些词，比如总统、美国、国会、华盛顿等等；然后用同样的方法找出和灌木丛一起出现的互信息最大的词，如土壤、植物、野生等等。有了这两组词，在翻译Bush时，看看上下文中哪类相关的词多就可以了。

——信息论中另一个重要的概念

用来衡量两个取值为正数的函数的相似性，定义如下：
K L ( f ( x ) ∣ ∣ g ( x ) ) = x ∈ X ∑ ​ f ( x ) ⋅ lo g g ( x ) f ( x ) ​ ( 5 )
三个结论：

1. 对于两个完全相等的函数，它们的相对熵=0；
2. 相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小；
3. 对于概率分布或者概率密度函数，如果取值大于等于0，相对熵可以度量两个随机分布的差异性。

相对熵是 不对称 的：
J S ( f ( x ) ∣ ∣ g ( x ) ) = 2 1 ​ [ K L ( f ( x ) ∣ ∣ g ( x ) ) + K L ( g ( x ) ∣ ∣ f ( x ) ) ] ( 6 )

• 信号处理：如果两个随机信号，相对熵越小，说明两个信号越接近；反之两个信号差异越大。
• 信息处理：衡量两段信息的相似程度，比如论文查重，如果一篇文章照抄或者改写另一篇，那么这两篇文章中次品分布的相对熵就非常小，接近于0。
• Google的自动问答系统：衡量两个答案的相似性。
• 自然语言处理：衡量两个常用词（在语法和语义上）在不同文本中的概率分布，看它们是否同义。
• 信息检索：一个重要概念：词频率-逆向文档频率（TF-IDF）

熵、条件熵、相对熵——这三个概念与语言模型的关系非常密切。

如何定量地衡量一个语言模型的好坏？

• 一个很自然的想法： 错误率 。例如语义识别或机器翻译的错误率。——但是这种测试方法对于语言模型的研究人员来讲，既不直接也不方便，而且很难从错误率反过来定量度量语言模型。
• 语言模型是为了用上下文预测当前的文字，模型越好，预测得越准，那么当前文字的不确定性就越小。——而 信息熵 正是对不确定性的衡量。
  • 贾里尼克提出**语言模型复杂度（Perplexity）**的概念
  • 物理意义：在给定上下文的条件下，句子中每个位置平均可以选择的单词数量。
  • 一个模型复杂度越小，每个位置的词就越确定，模型越好。

困惑度(perplexity)：它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize，公式为：
PP(S) = P(w_1w_2...w_N)^{\frac{1}{N}} \\ = \sqrt[N]{\frac{1}{p(w_1w_2...w_N)}} \\ = \sqrt[N]{\prod_{i=1}^{N}\frac{1}{p(w_i | w_1w_2...w_{i-1})}} P P ( S ) = P ( w 1 ​ w 2 ​ . . . w N ​ ) N 1 ​ = N p ( w 1 ​ w 2 ​ . . . w N ​ ) 1 ​ ​ = N i = 1 ∏ N ​ p ( w i ​ ∣ w 1 ​ w 2 ​ . . . w i − 1 ​ ) 1 ​ ​
或者等价地，