logistic sigmoid函数

$$ \sigma(x) = \frac{1}{1+\exp(-x)} $$

意义：

1. $$\sigma(x) \in (0, 1)$$
2. 通常用来产生Bernoulli分布中的参数$$\phi$$
3. 当|x|非常大时会饱和，饱和是指$$\sigma'(x)$$的变化非常缓慢。

softplus函数

$$ \zeta(x) = \log(1+\exp(x)) $$

意义：

1. $$\zeta(x) \in (0, +\infty)$$
2. 用于产生高斯分布的$$\beta$$或$$\sigma$$参数，$$\beta = \frac{1}{\sigma^2}$$
3. 是$$x_+ = max(0, x)$$函数是平滑形式

有用性质：

径向基函数 Radial Basis Function

将一个点到另一个点的距离映射成一个实值的函数。
这里面有三个未知：
（1）另一个点是什么点？默认是原点，也可以是指定点p。
（2）距离是什么距离？一般都使用欧氏距离
（3）对距离做怎样的操作？不同的RBF只要是这一点的不同。

欧氏径向基

距离为欧氏距离：
$$ \begin{aligned} r(x) = ||x||_2 \ r(x, p) = ||x-p||_2 \end{aligned} $$

操作为线性操作：
$$ \phi(r) = r $$

高斯径向基

距离为欧氏距离
操作为高斯函数：
$$ \phi(r) = \exp(-\frac{r^2}{2\sigma^2}) $$