集成学习之AdaBoost算法(7)|python基础教程|python入门|python教程

当前位置:

f_{k} (x) = f_{k - 1} (x) + ν α_{k} G_{k} (x)

ν 的取值范围为0<ν≤1。对于同样的训练集学习效果，较小的ν意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。

6. AdaBoost二元分类问题算法流程总结

输入：训练数据集 $T = {(x_{,} y_{1}), (x_{2}, y_{2}), . . . (x_{m}, y_{m})}$ ，输出为{-1, +1}，弱分类器算法, 弱分类器迭代次数K；

输出：为最终的强分类器 $f (x)$ 。

1) 初始化样本集权重为：

D (1) = (w_{11}, w_{12}, . . . w_{1 m}); w_{1 i} = \frac{1}{m}; i = 1, 2... m

2) 对于k=1,2，...K：

a) 使用具有权重 $D_{k}$ 的样本集来训练数据，得到弱分类器 $G_{k} (x) : χ \to {- 1, + 1}$

b)计算 $G_{k} (x)$ 的分类误差率：

e_{k} = P (G_{k} (x_{i}) \neq y_{i}) = \sum_{i = 1}^{m} w_{k i} I (G_{k} (x_{i}) \neq y_{i})

c) 计算弱分类器的系数：

α_{k} = \frac{1}{2} l o g \frac{1 - e_{k}}{e_{k}}

d) 更新样本集的权重分布：

栏目列表

python基础教程之集成学习之AdaBoost算法(7)