集成学习之AdaBoost算法(5)|python基础教程|python入门|python教程

当前位置:

w_{m, i} = e x p (- y_{i} f_{m} (x))

，这里

y_{i} f_{m - 1} (x)

是已知的，相当于可以作为常量移到前面去：

L o s s = \sum_{i = 1}^{N} w_{m, i} e x p (- y_{i} α_{m} G_{m} (x)))

接下来就是求解上式的优化问题的最优解 ${\hat{α}}_{m}$ 和 ${\hat{G}}_{m} (x)$ 。

首先我们求 ${\hat{G}}_{m} (x)$ ，可以得到：

G_{m} (x) = \underset{G}{a r g m i n} \sum_{i = 1}^{m} w_{m i} I (y_{i} \neq G_{m} (x_{i}))

上式将指数函数换成指示函数是因为前面说的指数损失函数和0/1损失函数是一致等价的。式子中所示的优化问题其实就是AdaBoost算法的基学习器的学习过程，即计算数据集的分类误差率，得到的 ${\hat{G}}_{m} (x)$ 是使第 $m$ 轮加权训练数据分类误差最小的基分类器。

然后求 ${\hat{α}}_{m}$ ，将 $G_{m} (x)$ 带入损失函数，并对 $α$ 求导，使其等于0，即可得到：

α_{m} = \frac{1}{2} l o g \frac{1 - e_{m}}{e_{m}}

其中， $e_{m}$

栏目列表

python基础教程之集成学习之AdaBoost算法(5)