集成学习之AdaBoost算法(6)|python基础教程|python入门|python教程

当前位置:

e_{m}

即为我们前面的分类误差率：

e_{m} = \frac{\sum_{i = 1}^{m} w_{m i} I (y_{i} \neq G (x_{i}))}{\sum_{i = 1}^{m} w_{m i}} = \sum_{i = 1}^{m} w_{m i} I (y_{i} \neq G (x_{i}))

最后看样本权重的更新：利用 $f_{m} (x) = f_{m - 1} (x) + α_{m} G_{m} (x)$ 和 $w_{m i} = e x p (- y_{i} f_{m - 1} (x))$ ，即可得：

w_{m + 1, i} = w_{m i} e x p [- y_{i} α_{m} G_{m} (x)]

到此AdaBoost二分类算法推导结束。

5. Adaboost算法的正则化

为了防止Adaboost过拟合，我们通常也会加入正则化项，这个正则化项我们通常称为步长(learning rate)。定义为ν,对于前面的弱学习器的迭代：

f_{k} (x) = f_{k - 1} (x) + α_{k} G_{k} (x)

如果我们加上了正则化项，则有：

f k (x) = f k -

栏目列表

python基础教程之集成学习之AdaBoost算法(6)