问题:对于给定的样本数据集X,y,我们如何找到参数theta,使得用这样的方式可以最大程度获得样本数据集X对应的分类输出y?

cost =
{
如果y = 1,p越小,cost越大
如果y = 0,p越大,cost越大
}

对应的数学公式与几何图像如下:

再把以上函数合并成一个函数:

cost = -y*log(p) - (1-y)*log(1-p)

根据所有样本得到的损失函数如下:

找到一组theta,使得损失函数J(theta)最小。
这个损失函数没有正规方程解,只能使用梯度下降法求解。
这个损失函数是一个凸函数,只有一个最优解。