等式约束的优化问题

$g(x)$ 是红线， $f(x)$ 由等值线构成的曲面。满足约束的极小值点具有以下特点：

$f(x)$ 与 $g(x)$ 在该点上梯度方向重合，可能同向或反向。

[1:13:26]等值约束的优化问题转化为解方程组问题

$\begin{array}{l} \nabla \mathbf{f}(x) =\lambda \nabla g(x) \\ \mathbf{g}(x) = 0 \ \end{array}$

Many Options

• Reparameterization
Eliminate constraints to reduce to unconstrained case

• Newton’s method
Approximation: quadratic function with linear constraint

• Penalty method
Augment objective with barrier term, e.g. $f(x)+\rho |g(x)|$

[1:14:18] $C_1,C_2,C_3$ 的代表不同的等式约束。相当于坐标法推广

[1:15:18] 把 Constrain 作为目标函数，极小划权 $\rho$ 在优化过程中会改变

[1:15:50] ADMM.把变量分离。把问题分成若干小问题分解为：小规模局部优化问题、闭式解全局优化问题。

$\begin{array}{l} \min_{x,z}& f(x)+g(z) \\ s.t. &Ax+Bz=c \\ \end{array}$

$\wedge _\rho (x,z;\lambda )=f(x)+g(z)+\lambda ^\top (Ax+Bz-c)+\frac{\rho }{2}||Ax+Bz-c||_2^2$

The Art of ADMM “Splitting”

本文出自CaterpillarStudyGroup，转载请注明出处。 https://caterpillarstudygroup.github.io/GAMES102_mdbook/