集成学习之AdaBoost算法(2)|python基础教程|python入门|python教程

当前位置:

e_{k} = P (G_{k} (x_{i}) \neq y_{i}) = \sum_{i = 1}^{m} w_{k i} I (G_{k} (x_{i}) \neq y_{i})

第k个弱分类器 $G_{k} (x)$ 的权重系数为：

α_{k} = \frac{1}{2} l o g \frac{1 - e_{k}}{e_{k}}

为什么这样计算弱学习器权重系数？从上式可以看出，如果分类误差率 $e_{k}$ 越大，则对应的弱分类器权重系数 $α_{k}$ 越小。也就是说，误差率小的弱分类器权重系数越大。具体为什么采用这个权重系数公式，我们在讲Adaboost的损失函数优化时再讲。

更新样本权重D。假设第k个弱分类器的样本集权重系数为 $D (k) = (w_{k 1}, w_{k 2}, . . . w_{k m})$ ，则对应的第k+1个弱分类器的样本集权重系数为：

w_{k + 1, i} = \frac{w_{k i}}{Z_{K}} e x p (- α_{k} y_{i} G_{k} (x_{i}))

这里 $Z_{k}$ 是规范化因子：

Z_{k} = \sum_{i = 1}^{m} w_{k i} e x p (- α_{k} y_{i} G_{k} (x_{i}))

从 $w_{k + 1, i}$ 计算公式可以看出，如果第i个样本分类错误，则 $y i G k (x i) < 0$

栏目列表

python基础教程之集成学习之AdaBoost算法(2)