频率派统计 VS 贝叶斯统计
以“最大似然估计”为代表的频率派统计和以“最大后验估计”为代表的贝叶斯统计是从两个不同的角度来看概率问题。
什么是定值 | 什么是随机变量 | 怎样求$\theta$ | |
---|---|---|---|
频率派统计 | 参数$\theta$是一个未知的定值 | 以$\theta$为参数的x是随机变量,符合某种分布。 | x的分布是由$\theta$的决定的。不同的$\theta$会得到不同的分布。目标是寻找一个满足要求的$\theta$。这个要求就是“$\theta$对应的分布中,样本x出现的概率最大”。 |
贝叶斯统计 | x是一组已知的定值 | 参数$\theta$是随机变量,符合某种分布。关于$\theta$的分布有两种:先验分布$P(\theta)$、后验分布$P(\theta | x)$ |
后面很多都没看懂。
最大似然估计 VS 最大后验估计
最大似然估计是基于最大似然点的点估计
最大后验估计是基于先验估计和最大后验点的点估计
根据贝叶斯公式:
后验估计$P(\theta|x)$ = 先验证估计$P(\theta)$ * $P(\theta|x)$
类上一节类似点,先使对数似然最大的$\theta$:
$$
\theta_{MAP} = \arg\max_\theta P(\theta|x) = \arg\max_\theta \log P(x|\theta) + \log P(\theta)
$$
后面的看不懂了。