奇异值分解

奇异值分解，（singular value decomposition, SVD），将矩阵分解为奇异向量和奇异值。

$$A = UDV^T$$ $$A$$ ： $$m \times n$$ ，是任意矩阵，可以不是方阵
$$U$$ ： $$m \times m$$ ，矩阵中的列向量称为左奇异向量，也是 $$AA^T$$ 的特征向量
$$V$$ ： $$n \times n$$ ，矩阵中的列向量称为右奇异向量，也是 $$A^TA$$ 的特征向量
$$D$$ ： $$m \times n$$ ，由 $$\lambda$$ 组成的对角矩阵， $$\lambda$$ 是A的奇异值，是 $$\sqrt {AA^T\text{的特征值}}$$ ，是 $$\sqrt {A^TA\text{的特征值}}$$

奇异值分解的应用 ： 非方阵求逆

Moore-Penrose伪逆
矩阵A的逆： $$A^+ = VD^+U^T$$ V、D、U是A奇异分解后得到的矩阵。
$$D^+$$ 是D中的非零元素取倒数后再转置得到。

非方阵求逆的应用

求解Ax=y， 解得 $$x = A^Ty$$ 如果方程有多个解，x是多个解中 $$||x||_2$$ 最小的
如果方程没有解，x使得 $$||Ax-y||_2$$ 最小