似然

假设真实存在一组数据集X = {x1, x2 , ..., xm}
X服从概率分布$$p(x|\theta)$$，参数$$\theta$$未知。
那么似然为真实存在的数据X发生的概率。用带参数$$\theta$$的函数来表示这个概率为：
$$ \begin{aligned} P(X;\theta) = P(x^{(1)}|\theta)P(x^{(2)}|\theta)\cdots P(x^{(m)}|\theta) && {1} \end{aligned} $$

最大似然估计

由公式（1）知X发生的可能性与参数$$\theta$$有关。
我们希望X发生的可能性最大。
因此要找到一个合适的参数$$\theta$$，使得P(X;\theta)取到最大值。
即
$$ \begin{aligned} \theta = {\arg \max}_{\theta} P(X;\theta) &&{2} \end{aligned} $$

公式（2）称为$$\theta$$的最大似然估计

对数似然估计

由于公式（1）是许多概率连乘的形式，使得公式（2）不便于计算。
由于$$P(X;\theta)$$和$$\log P(X;\theta)$$具有相同的趋势，$${\arg \max}{\theta} P(X;\theta)$$和$${\arg \max}{\theta} \log P(X;\theta)$$是等价的。
于是公式（2）转化为：
$$ \begin{aligned} \theta & = & {\arg \max}{\theta} \log P(X;\theta) \ & = & {\arg \max}{\theta} \sum_{i=1}^m \log P(X^{(i)};\theta) &&{3} \end{aligned} $$

公式（2）称为最大对数似然估计

期望

同理，$${\arg \max}{\theta} \log P(X;\theta)$$和$${\arg \max}{\theta} \frac{1}{m}\log P(X;\theta)$$是等价的

于是公式（3）又转化成：
$$ \begin{aligned} \theta & = & {\arg \max}{\theta} \sum{i=1}^m \log P(X^{(i)};\theta) \ & = & {\arg \max}{\theta} \frac{1}{m}\log P(X;\theta) \ & = & {\arg \max}{\theta} \sum_{i=1}^m \hat p(x^{(i)};\theta) \log p(x^{(i)};\theta) && {4} \ & = & {\arg \max}{\theta} E{X \sim \hat p_{data}} \log p_{model}(x;\theta) && {5} \end{aligned}
$$

说明：
公式（4）（5）中的$$\hat p$$或$$\hat p_{data}$$代表样本的真实概率
公式（4）（5）中的$$p$$或$$\hat p_{model}$$代表模型预测的概率

交叉熵

公式（4）可以看是经验分布$$\hat p$$和模型分布$$p$$之间的差异，这种形式称为交叉熵。

KL离散度

两个分布差异程度可以用DL离散度表示。
$$ D_{KL} = E[\log p1 - \log p2] $$ p1为经验分布，与模型与无关。
因此最小化KL离散度就是要最小化$$-E[\log p2]$$，即$$-E[\log p_{model}(x)]$$