正交

向量x与向量y正交：$x^Ty=0$

向量x与向量y标准正交：$x^Ty=0$ 且$||x||_2=1$且$||y||_2=1$

正交矩阵:行向量和列向量分别标准正交的方阵，有以下性质：

$$ \begin{aligned} A^TA = AA^T = I \ A^{-1} = A^T \text {求逆计算代价小} \end{aligned} $$

Gram-Schmidt正交化

线性无关向量组未必是正交向量组，但正交向量组又是重要的，因此现在就有一个问题：能否

• 从一个线性无关向量组$a_1, a_2, \cdots, a_m$出发，
• 构造出一个标准正交向量组$e_1, e_2, \cdots, e_m$，
• 并且使向量组$a_1, a_2, \cdots, a_r$与向量组$e_1, e_2, \cdots, e_r$等价r=(1,2,...,m)呢?

答：施密特正交化方法。
以3个向量组成的线性无关组为例

第一步：线性无关向量组（a1,a2,a3） ---> 正交向量组(b1,b2,b3)

令: b1 = a1
b2 = a2 - k * b1
b3 = a3 - k1 * b1 - k2 * b2

由于b1、b2、b3互相正交，
b1 * b2 = 0 ==> k = $\frac{<a2, b1>}{<b1, b1>}$
b1 * b3 = 0 && b2 * b3 = 0 ==> $k1 = \frac{<a3, b1>}{b1, b2}$， $k2 = \frac{<a3, b2>}{b2, b2}$

第二步：正交向量组（b1,b2,b3） ---> 标准正交向量组（e1,e2,e3）

$$ e_i = \frac{b_i}{||b_i||} $$