泰勒公式是将一个在$x=x_0$处具有n阶导数的函数f(x)利用关于$f(x-x_0)$的n次多项式来逼近函数的方法。
一维的泰勒公式
若函数f(x)在包含$x_0$的某个闭区间[a,b]上具有n阶导数，且在开区间（a,b）上具有（n+1）阶导数，则对闭区间[a,b]上任意一点x，成立下式：
$$ f(x) = \frac{f(x_0)}{0!} + \frac{f'(x_0)}{1!}(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n + R_n(x) $$
其中:
x是一个标量。
$f^{(n)}(x)$表示f(x)的n阶导数
等号后的多项式称为函数f(x）在$x_0$处的泰勒展开式
剩余的$R_n(x)$是泰勒公式的余项，是$(x-x_0)$n的高阶无穷小。
高维的泰勒公式
$$ f(x) = f(x_0) + (x-x_0)g + \frac{1}{2}(x-x_0)^\top H(x-x_0) + ... $$
其中:
$x$是一个向量
g是f在$x_0$处的梯度向量，即$g_i = \frac{\partial f(x_0)} {\partial x_i}$
H是Hessian矩阵，$H_{ij} = \frac{\partial^2}{\partial x_i \partial x_j}f(x_0) = \frac{\partial^2}{\partial x_j \partial x_i}f(x_0) = H_{ji}$，H是一个对称矩阵。
泰勒公式二阶项的几何意义
当x非常接近$x_0$时，二阶以上的项可以忽略，只考虑前三项，分别是常数项、一阶项、二阶项。
同时为了简化总是，认为x是一个标量。
$$
f(x) = f(x_0) + (x-x_0)f'(x_0) + \frac{1}{2}(x-x_0)^2f''(x_0)
$$
根据公式的前两项画出来的是绿色的虚线（一个直线）。
根据公式全部三项画出来的是蓝色的曲线（一个二次曲线）。
蓝线与绿线的差异来自二阶项。