期望

离散型变量期望：
$$ E_{x\sim P}[f(x)] = \sum_x P(x)f(x) $$

连续型变量期望：$$E_{x\sim P}[f(x)] = \int p(x)f(x)dx$$

方差

$$ Var(f(x)) = E[(f(x) - E[f(x)])^2] $$

标准差=$\sqrt \text{方差}$

协方差

两个变量线性相关性的强度以及这些变量的尺度

$$ Cov(f(x),g(x)) = E[(f(x)-E[f(x)])(g(x)-E[g(x)])] $$

意义（没看懂）：

1. 绝对值很大：变量值变化很大，距离各自均值很远
2. 负的：一个变量倾向于取得相对较大的值，另一个变量倾向于取得相对较小的值。反之亦然。
3. 为0：没有线性关系，但不一定独立

协方差矩阵

$$ \begin{aligned} x \in R^n\ Cov(X){i,j} = Cov(X_i, X_j) \text{方阵}\ Cov(X){i,i} = Var(X_i) \end{aligned} $$