离散型变量的分布

Bernoulli 分布

单个二值随机变量的分布

$$ \begin{aligned} P(X=1) = \phi \ P(X=0) = 1 - \phi \ P(X=a) = \phi^a(a-\phi)^{(1-a)} \ E[x] = \phi \ Var(x) = \phi(1-\phi) \end{aligned} $$

Multinoulli 分布

具有k个不同状态的单个离散型随机变量的分布。
分布由向量$$p \in [0,1]^{k-1}$$参数化

$$ \begin{aligned} P(x = i) = p_i, i < k \ P(x = k) = 1 - \sum_{i}p_i \end{aligned} $$ 通常不计算方差和期望。

连续型变量的分布

Logistic分布

定义：Logistic分布
设X是连续随机变量，X服从逻辑分布是指X具有下列函数和密度函数：
分布函数：
$$ F(x) = P(X \le x) = \frac{1}{1+e^{-(x-\mu)/\gamma}} $$

密度函数：
$$ f(x) = F^{'}(x) = \frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2} $$

其中：$$\mu$$为位置参数，$$\gamma$$是形状参数

正态分布（高斯分布）

$$ \mathcal N(x; \mu,\sigma^2) = \sqrt{-\frac {1}{2\pi\sigma^2}}exp(-\frac {1}{2\sigma^2}(x-\mu)^2) $$

当对数据缺乏先验知识时，正态分布是默认的比较好的选择。

标准正态分布：$$\mu=0, \sigma=1$$

多维正态分布

$$ \mathcal N(x; \mu,\Sigma^2) = \sqrt{-\frac {1}{(2\pi)^n|\Sigma|^2}}exp(-\frac {1}{2}(x-\mu)\Sigma (x-\mu)^T) $$

公式中$$x, \mu$$都是向量，$$\Sigma$$是对称半正定矩阵

各向同性(isotropic)高斯分布： $$ \Sigma = \text{标量} \times I $$

卡方分布

若n个相互独立的随机变量ξ₁，ξ₂，...,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。

指数分布

$$ p(x;\lambda)= \begin {cases} \lambda \exp(-\lambda), && \text{if } x \ge 0 \ 0, && \text{if } x \le 0 \end{cases} $$

Laplace分布

$$ \text{Laplace}(x;\mu, r) = \frac{1}{2r}\exp(-\frac{|x-\mu|}{r}) $$

Dirac分布

$$ \begin{aligned} p(x) = \delta(x-\mu) = \begin {cases} \gt 0, & x = \mu \ = 0, & x \neq \mu \end {cases} \ \int p(x) = 1 \end{aligned} $$

意义：只有在定义连续型随机变量的经验公布时，$$\delta(x)$$才有意义

广义函数：依据积分性质定义的数学对象