如何理解 Jensen 不等式？

Jensen不等式是关于凸函数性质的不等式，它和凸函数的定义是息息相关的。

凸函数是一个定义在某个向量空间的凸子集 C（区间）上的实值函数 f，如果在其定义域 C 上的任意两点 x_1,x_2 ， 0 \le \lambda \le 1 ，有

\lambda f(x_{1})+(1-\lambda)f(x_{2})\geq f\left(\lambda x_{1}+(1-\lambda)x_{2}\right) \quad\quad\quad (1)

也就是说凸函数任意两点的割线位于函数图形上方， 这也是Jensen不等式的两点形式 。

若对于任意点集 \{x_i\} ，若 \lambda_i \geq 0 且 \sum_i \lambda_i = 1 ，使用 数学归纳法 ，可以证明凸函数 f (x) 满足：

f(\sum_{i=1}^M \lambda_i x_i) \leq \sum_{i=1}^M \lambda_i f(x_i) \quad\quad\quad (2)

公式(2)被称为 Jensen 不等式， 它是式(1)的泛化形式 。

在概率论中，如果把 \lambda_i 看成取值为 {x_i} 的离散变量 x 的概率分布，那么公式(2)就可以写成

f(E[x]) \leq E[f(x)]

其中, E[·] 表示期望。