离散型变量的分布

Bernoulli 分布

单个二值随机变量的分布

$\begin{aligned} P(X=1) = \phi \ P(X=0) = 1 - \phi \ P(X=a) = \phi^a(a-\phi)^{(1-a)} \ E[x] = \phi \ Var(x) = \phi(1-\phi) \end{aligned}$

具有k个不同状态的单个离散型随机变量的分布。
分布由向量 $p \in [0,1]^{k-1}$ 参数化

$\begin{aligned} P(x = i) = p_i, i < k \ P(x = k) = 1 - \sum_{i}p_i \end{aligned}$ 通常不计算方差和期望。

定义：Logistic分布
设X是连续随机变量，X服从逻辑分布是指X具有下列函数和密度函数：
分布函数：
$F(x) = P(X \le x) = \frac{1}{1+e^{-(x-\mu)/\gamma}}$

密度函数：
$f(x) = F^{'}(x) = \frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2}$

其中： $\mu$ 为位置参数， $\gamma$ 是形状参数

$\mathcal N(x; \mu,\sigma^2) = \sqrt{-\frac {1}{2\pi\sigma^2}}exp(-\frac {1}{2\sigma^2}(x-\mu)^2)$

当对数据缺乏先验知识时，正态分布是默认的比较好的选择。

标准正态分布： $\mu=0, \sigma=1$

多维正态分布

$\mathcal N(x; \mu,\Sigma^2) = \sqrt{-\frac {1}{(2\pi)^n|\Sigma|^2}}exp(-\frac {1}{2}(x-\mu)\Sigma (x-\mu)^T)$

公式中 $x, \mu$ 都是向量， $\Sigma$ 是对称半正定矩阵

各向同性(isotropic)高斯分布： $\Sigma = \text{标量} \times I$

若n个相互独立的随机变量ξ₁，ξ₂，...,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。

$p(x;\lambda)= \begin {cases} \lambda \exp(-\lambda), && \text{if } x \ge 0 \ 0, && \text{if } x \le 0 \end{cases}$

$\text{Laplace}(x;\mu, r) = \frac{1}{2r}\exp(-\frac{|x-\mu|}{r})$

$\begin{aligned} p(x) = \delta(x-\mu) = \begin {cases} \gt 0, & x = \mu \ = 0, & x \neq \mu \end {cases} \ \int p(x) = 1 \end{aligned}$

意义：只有在定义连续型随机变量的经验公布时， $\delta(x)$ 才有意义

广义函数：依据积分性质定义的数学对象