6 多样性

Original purpose: 好而不同

定义学习器 $h_i$ 的分歧：$A(h_i|x)=[h_i(x)-H(x)]^2$，这里 $H(x)=\sum w_ih_i(x)$

则集成的分歧 $\bar A(h_i|x)=\sum w_iA(h_i|x)$

分歧代表个体学习器在 $x$ 上的不一致性，在一定程度上反映了多样性

常见的增强个体学习器的多样性的方法

数据样本扰动

输入属性扰动

输出表示扰动

翻转法(Flipping Output)

输出调剂法(Output Smearing)

ECOC法

算法参数扰动

负相关法：显式地通过正则化来强制个体神经网络使用不同的参数

本文阅读量