凸优化 - Jensen 不等式

设 S 为 $\mathbb{R}^n$ 中的非空凸集，且 $f:S ightarrow \mathbb{R}^n$。然后，当且仅当对于每个整数 $k>0$，f 才是凸的

$x_1,x_2,...x_k \in S, \displaystyle\sum\limits_{i=1}^k \lambda_i=1, \lambda_i\geq 0, \forall i=1,2,s,k$，我们有 $f\left ( \displaystyle\sum\limits_{i=1}^k \lambda_ix_i ight )\leq \displaystyle\sum\limits_{i=1}^k \lambda _if\left ( x ight )$

证明

通过对 k 进行归纳。

$k=1:x_1 \in S$ 因此 $f\left ( \lambda_1 x_1 ight ) \leq \lambda_i f\left (x_1 ight )$ 因为 $\lambda_i=1$。

$k=2:\lambda_1+\lambda_2=1$ 且 $x_1, x_2 \in S$

因此，$\lambda_1x_1+\lambda_2x_2 \in S$

因此根据定义，$f\left ( \lambda_1 x_1 +\lambda_2 x_2 ight )\leq \lambda _1f\left ( x_1 ight )+\lambda _2f\left ( x_2 ight )$

假设该语句对 $n < k$ 成立

因此，

$f\left ( \lambda_1 x_1+ \lambda_2 x_2+....+\lambda_k x_k ight )\leq \lambda_1 f\left (x_1 ight )+\lambda_2 f\left (x_2 ight )+...+\lambda_k f\left (x_k ight )$

$k=n+1:$设 $x_1, x_2,....x_n,x_{n+1} \in S$且 $\displaystyle\sum\limits_{i=1}^{n+1}=1$

因此 $\mu_1x_1+\mu_2x_2+.......+\mu_nx_n+\mu_{n+1} x_{n+1} \in S$

因此，$f\left (\mu_1x_1+\mu_2x_2+...+\mu_nx_n+\mu_{n+1} x_{n+1} ight )$

$=f\left ( \left ( \mu_1+\mu_2+...+\mu_n ight)\frac{\mu_1x_1+\mu_2x_2+...+\mu_nx_n}{\mu_1+\mu_2+\mu_3}+\mu_{n+1}x_{n+1} ight)$

$=f\left ( \mu_y+\mu_{n+1}x_{n+1} ight )$ 其中 $\mu=\mu_1+\mu_2+...+\mu_n$ 且

$y=\frac{\mu_1x_1+\mu_2x_2+...+\mu_nx_n}{\mu_1+\mu_2+...+\mu_n}$ 以及 $\mu_1+\mu_{n+1}=1,y \in S$

$\Rightarrow f\left ( \mu_1x_1+\mu_2x_2+...+\mu_nx_n+\mu_{n+1}x_{n+1} ight ) \leq \mu f\left ( y ight )+\mu_{n+1} f\left ( x_{n+1} ight )$

$\Rightarrow f\left ( \mu_1x_1+\mu_2x_2+...+\mu_nx_n+\mu_{n+1}x_{n+1} ight ) \leq$

$\left ( \mu_1+\mu_2+...+\mu_n ight )f\left ( \frac{\mu_1x_1+\mu_2x_2+...+\mu_nx_n}{\mu_1+\mu_2+...+\mu_n} ight )+\mu_{n+1}f\left ( x_{n+1} ight )$

$\Rightarrow f\left ( \mu_1x_1+\mu_2x_2+...+\mu_nx_n +\mu_{n+1}x_{n+1} ight )\leq \left ( \mu_1+ \mu_2+ ...+\mu_n ight )$

$\left [ \frac{\mu_1}{\mu_1+ \mu_2+ ...+\mu_n}f\left ( x_1 ight )+...+\frac{\mu_n}{\mu_1+ \mu_2+ ...+\mu_n}f\left ( x_n ight ) ight ]+\mu_{n+1}f\left ( x_{n+1} ight )$

$\Rightarrow f\left ( \mu_1x_1+\mu_2x_2+...+\mu_nx_n+\mu_{n+1}x_{n+1} ight )\leq \mu_1f\left ( x_1 ight )+\mu_2f\left ( x_2 ight )+....$

因此证明。