4 函数选择

激活函数

$\sigma(x)$ 函数有一个很好的性质：$\sigma'(x)=\sigma(x)[1-\sigma(x)]$。

损失函数

均方误差

$$E_k=\frac12\sum_j(\hat y_j^{(k)}-y_j^{(k)})$$

多分类损失

把输出向量 $Y$ 认为是一种 one-hot 向量，这种损失度量用的是 KL 散度【$H(P,Q)=\sum_xP(x)\log Q(x)$】 $$ E_k=-\sum_jy_j\log\hat y_j $$

二分类损失

用交叉熵作为损失函数。

本文阅读量