问题:对于给定的样本数据集X,y,我们如何找到参数theta,使得用这样的方式可以最大程度获得样本数据集X对应的分类输出y?
cost =
{
如果y = 1,p越小,cost越大
如果y = 0,p越大,cost越大
}
对应的数学公式与几何图像如下:
再把以上函数合并成一个函数:
cost = -y*log(p) - (1-y)*log(1-p)
根据所有样本得到的损失函数如下:
找到一组theta,使得损失函数J(theta)最小。
这个损失函数没有正规方程解,只能使用梯度下降法求解。
这个损失函数是一个凸函数,只有一个最优解。