奇异值分解

奇异值分解，（singular value decomposition, SVD），将矩阵分解为奇异向量和奇异值。

$$ A = UDV^T $$ $$A$$：$$m \times n$$，是任意矩阵，可以不是方阵
$$U$$：$$m \times m$$，矩阵中的列向量称为左奇异向量，也是$$AA^T$$的特征向量
$$V$$：$$n \times n$$，矩阵中的列向量称为右奇异向量，也是$$A^TA$$的特征向量
$$D$$：$$m \times n$$，由$$\lambda$$组成的对角矩阵，$$\lambda$$是A的奇异值，是$$\sqrt {AA^T\text{的特征值}}$$，是$$\sqrt {A^TA\text{的特征值}}$$

奇异值分解的应用 ： 非方阵求逆

Moore-Penrose伪逆
矩阵A的逆： $$ A^+ = VD^+U^T $$ V、D、U是A奇异分解后得到的矩阵。
$$D^+$$是D中的非零元素取倒数后再转置得到。

非方阵求逆的应用

求解Ax=y， 解得$$x = A^Ty$$ 如果方程有多个解，x是多个解中$$||x||_2$$最小的
如果方程没有解，x使得$$||Ax-y||_2$$最小