贝叶斯准则在信号中的作用

贝叶斯准则（Bayesian rule）已在我们的生活中得到广泛应用，这里重点说说信号处理和机器学习中的应用。其原理可以由一个公式来解释。

p(x|y)=\frac{p(y|x)p(x)}{\int{p(y|x)p(x)dx}}\propto p(y|x)p(x) (1)

其中， p(x|y) 为后验概率密度， p(x) 为先验概率密度， p(y|x) 为似然概率密度。

这里的先验概率密度可以理解为我们生活中的经验，似然概率密度为我们从生活中看到的现象，后验概率密度这是我们想知道的隐藏在现象中的知识。

如果我们是基于贝叶斯准则的方法，则是根据计算后验概率密度获得的，比如经典的卡尔曼滤波器。这与统计学中的频率派不同，频率派是基于似然概率密度获得的。目前在信号处理和机器学习用的较多的则还是根据以往经验的后验概率密度。

在机器学习中，常用在分类和聚类中，如朴素贝叶斯法等。在信号处理中，则是以卡尔曼滤波器为代表。

以贝叶斯准则为基础，待估计的量 x 可以是系统参数（机器学习），也可以是系统的状态（信号处理）。以卡尔曼滤波器为例，待分析的状态空间模型为

x_k\sim p(x_k|x_{k-1}) （2）

y_k\sim p(y_k|x_k) （3）

目的则是获得状态 x_k 的估计值 \hat{x}_k ，而这个估计值就是

\hat{x}_k=E_{x|y}[x]=\int{xp(x|y)}dx （4）

其过程就是充分利用了贝叶斯准则，采用预测和更新两步递归来完成的，即

p(x_k|y_{1:k-1}) =\int{p(x_k|x_{k-1})p(x_{k-1}|y_{1:k-1})dx_{k-1}} （5）

p(x_k|y_{1:k})=\frac{p(y_k|x_k)p(x_k|y_{1:k-1})}{\int{p(y_k|x_k)p(x_k|y_{1:k-1}})dx_k} （6）

公式（5）和（6）就是根据状状态空间模型（1）和（2）采用贝叶斯准则（1）得到的，这就是卡尔曼滤波器的贝叶斯解释。

——————————

今天在阅读《算法之美》这本书中的贝叶斯法则，发现一个很有意思的想法。就是大家在应用贝叶斯准则进行预测或推理的时候，其实先验信息非常重要，也就是我们所说的经验；先验信息不同，得出的预测结果也不相同。这其实也就是公式中先验概率的准确性。先验信息越丰富，我们便能从中得到越有用的预测。因此，尝试获得或修正所得的先验信息，也可以作为提高预测精度的一种思路。希望对大家有所启发。