约束优化是指在x的某些集合S中找到f(x)的最大值或最小值。
集合S内的点称为s的可行点。
求解方法：KKT
KKT方法是将原始的约束优化问题转换为一无约束的优化问题。
- 将S描述为m个等式$$g^{(i)}(x)=0$$和n个不等式$$h^{(j)}(x)<0$$。
- 为每个约束引入新的变量$$\lambda_i$$和$$\alpha_j$$
- 定义广义Lagrangian函数为：
$$ L(x,\lambda,\alpha) = f(x) + \sum_i \lambda_i g^{(i)}(x) + \sum_j \alpha_j h^{(j)}(x) $$ - 通过优化无约束的广义Lagrangian 解决约束最小化问题。以下两个公式具有相同的最优点集x。
$$ \begin{aligned} \min_x\max_{\lambda}\max_{\alpha,\alpha>0}L(x,\lambda,\alpha) && (1)\ \min_{x\in S}f(x) && (2) \end{aligned} $$ 在公式（1）中，保证可行点不是最佳，可行点范围内的最优点不变。
[?]后面的不太懂