凸优化 - 魏尔斯特拉斯定理

设 S 为 $\mathbb{R}^n$ 中非空、封闭且有界的集合（也称为紧集），设 $f:S ightarrow \mathbb{R} $ 为 S 上的连续函数，则问题 min $\left \{ f\left ( x ight ):x \in S ight \}$ 达到其最小值。

证明

由于 S 非空且有界，因此存在下界。

$\alpha =Inf\left \{ f\left ( x ight ):x \in S ight \}$

现在设 $S_j=\left \{ x \in S:\alpha \leq f\left ( x ight ) \leq \alpha +\delta ^j ight \} \forall j=1,2,...$ 和 $\delta \in \left ( 0,1 ight )$

根据无穷大的定义，对于每个 $j$，$S_j$ 都是非空的。

选择某个 $x_j \in S_j$ 得到一个序列 $\left \{ x_j ight \}$，其中 $j=1,2,...$

由于 S 是有界的，所以序列也是有界的，并且有一个收敛子序列 $\left \{ y_j ight \}$，它收敛到 $\hat{x}$。因此，$\hat{x}$ 是一个极限点，S 是封闭的，因此，$\hat{x} \in S$。由于 f 是连续的，因此 $f\left ( y_i ight ) ightarrow f\left ( \hat{x} ight )$。

由于 $\alpha \leq f\left ( y_i ight )\leq \alpha+\delta^k，\alpha=\displaystyle\lim_{k ightarrow \infty}f\left ( y_i ight )=f\left ( \hat{x} ight )$

因此，$\hat{x}$ 是最小化解。

备注

Weierstrass 定理有两个重要的必要条件成立。如下所示 −

• 步骤 1 −集合 S 应该是一个有界集合。

  考虑函数 f\left ( x ight )=x$。

  它是一个无界集合，并且在其域中的任何点都有最小值。

  因此，为了获得最小值，S 应该是有界的。

• 步骤 2 − 集合 S 应该是封闭的。

  考虑域 \left ( 0,1 ight ) 中的函数 $f\left ( x ight )=\frac{1}{x}$。

  此函数在给定域中不封闭，其最小值也不存在。

  因此，为了获得最小值，S 应该是封闭的。