线性回归和逻辑回归的区别

研究分类任务的逻辑回归时被线性回归迷惑到了，这个文章来区分一下。

首先，监督学习（supervised learning）有两大任务：回归（regression）和分类（classification）。

线性模型是一个用于回归任务的模型。线性模型（通常）尝试通过最小化误差平方和（也就是最小二乘法）来拟合一条线性函数。

逻辑回归（参考这篇文章）虽然名字带有回归二字，但是是分类任务的模型。通过最大化条件似然估计（MCLE）来最小化分类错误。

逻辑回归的回归指的是回归到概率。逻辑回归

\[P(y=1|x) = \frac{1}{1+\exp(-z)} = \frac{1}{1+\exp(-(w^{\top}x+w_0))}\]

可以看作是线性回归模型输出套了一个逻辑函数Logistic来输出类别为\(y=1\)的概率。

所以，正如上面超链接里文章提到的，逻辑回归是一个广义线性模型（generalized linear model），本质上和线性回归一样。