2 对数几率回归

线性模型的衍生

如果有单调可微函数 $g(·)$，令 $$ y=g^{-1}(\boldsymbol{w}^T\boldsymbol{x}+b) $$ 这样的称之为广义线性模型。

对数几率回归

问题：在二分类任务中，需要的是 $\{0,1\}$ 这种标记，而非一个实数值（$\boldsymbol{w}^T\boldsymbol{x}+b$）。

这种转换可以通过对数几率函数 $\displaystyle h(z)=\frac{1}{1+e^{-z}}$ 来实现。

这个函数的反函数 $\displaystyle h^{-1}(y)=\ln\frac{y}{1-y}$。

所以实际上是 $$ \ln\frac{y}{1-y}=\boldsymbol{w}^T\boldsymbol{x}+b $$ $y$ 视为样本 $\boldsymbol x$ 作为正例的可能性，可以视为后验概率 $p(y=1|x)$，所以上式可以重写为 $$ \ln\frac{p(y=1|x)}{p(y=0|x)}=w^Tx+b $$ 可以解出 $$ p(y=1|x)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}} $$

$$p(y=0|x)=\frac{1}{1+e^{w^Tx+b}}$$

根据已有的数据集，可以通过极大似然法来求最优化的参数。 $$ l(w,b)=\sum_{i=1}^m\ln p(y_i|x_i;w,b) $$ 然后用梯度下降法等可以求出最优解。

本文阅读量