这是11-3中推导出来的公式。MVC本质上是这样的一个带条件的最优化问题。
在求解这个问题的过程要,要把公式变形:

公式中红框标出来的部分,配合前面了两层累加符号,表示样本中任意两个x相乘。
所谓的给SVM增加多项式,就是:

把x做一些变形得到x',并且用x'代替公式中的x
核函数的思想是:有没有可能不显式地将x转换成x',而是直接使用一个函数得到

那么SVM的目标函数就可以写成:

K函数 = Kernel function = Kernel trick
优点:1.节省了存储空间2.计算量变少

核函数本身不是SVM独有的技巧。只要算法转成了最优化问题,并且在求解最优化问题的过程中存在xi * xj或者类似这样的式子,都可以应该核函数技巧。

多项式核函数


相当于给原来的x添加了二次项。
系数前面的常数项根号2不会影响模型的训练效果。

多项式的核函数:

下图是sklearn的SVM的文档,当核函数指定为poly时,degree相当于公式中的d,coef0相当于公式中的c

线性核函数:K(x, y) = x * y