为什么逼近？

用逼近代替插值的优点：
• 数据点含噪声、outliers等
• 更紧凑的表达
• 计算简单、更稳定

逼近问题

给定一组线性无关的连续函数集合\(B\)={\(b_1, \ldots b_n\)}和一组结点{\((x_1, y_1)\), ...,\((x_m, y_m)\)}, 其中\(m>n\)。
在\(B\)张成空间中哪个函数\(f\in\operatorname{span}(B)\)对结点逼近最好?

🔎 [31：38]

最佳逼近

最小二乘逼近

$$ \underset{f \in \operatorname{span}(B)}{\operatorname{argmin}} \sum_{j=1}^{m}\left(f\left(x_{j}\right)-y_{j}\right)^{2} $$

公式是关于系数\((\lambda _1,\lambda _2,\dots ,\lambda _n,)\)的函数，直接求极小值的闭式解。

$$ \sum_{j=1}^{m}\left(f\left(x_{j}\right)-y_{j}\right)^{2}=\sum_{j=1}^{m}\left(\sum_{i=1}^{n} \lambda_{i} b_{i}\left(x_{j}\right)-y_{j}\right)^{2} $$

$$ =(M \lambda-y)^{T}(M \lambda-y) $$

$$ =\lambda^{T} M^{T} M \lambda-y^{T} M \lambda-\lambda^{T} M^{T} y+y^{T} y $$

$$ =\lambda^{T} M^{T} M \lambda-2y^{T} M\lambda +y^{T} y $$

$$ M=\left(\begin{array}{ccc} b_{1}\left(x_{1}\right) & \ldots & b_{n}\left(x_{1}\right) \\ \ldots & \ldots & \ldots \\ b_{1}\left(x_{m}\right) & \ldots & b_{n}\left(x_{m}\right) \end{array}\right) $$

求解

上页公式可转化为关于\(\lambda\)的二次多项式
$$ \lambda^{T} M^{T} M \lambda-2 y^{T} M \lambda+y^{T} y $$

求公式的法方程，可得使公式达到最小值，其解应满足：

$$ M^{T} M \lambda=M^{T} \mathrm{y}
$$

提示
－ 最小化二次目标函数\(x^TAx+b^Tx+c \)
－ 充分必要条件:\(2Ax=-b\)

本文出自CaterpillarStudyGroup，转载请注明出处。 https://caterpillarstudygroup.github.io/GAMES102_mdbook/