集成学习之AdaBoost算法(4)|python基础教程|python入门|python教程

当前位置:

f_{m} (x) = f_{m - 1} (x) + α_{m} G_{m} (x)

所以此轮优化目标就为：

m i n \sum_{i = 1}^{N} L (y_{i}, f_{m - 1} (x) + α_{m} G_{m} (x))

求解上式即可得到第 $m$ 个基分类器 $G_{m} (x)$ 及其权重 $α_{m}$ 。

这样，前向分步算法就通过不断迭代求得了从 $m = 1$ 到 $m = M$ 的所有基分类器及其权重，问题得到了解决。

上面主要介绍了前向分步算法逐一学习基学习器，这一过程也即AdaBoost算法逐一学习基学习器的过程。下面将证明前向分步算法的损失函数是指数损失函数(exponential loss function)时，AdaBoost学习的具体步骤。

首先指数损失函数即 $L (y, f (x)) = e x p (- y f (x))$ ，指数损失函数是分类任务原本0/1损失函数的一致(consistent)替代损失函数，由于指数损失函数有更好的数学性质，例如处处可微，所以我们用它替代0/1损失作为优化目标。

AdaBoost是采用指数损失，由此可以得到损失函数：

L o s s = \sum_{i = 1}^{N} e x p (- y_{i} f_{m} (x_{i})) = \sum_{i = 1}^{N} (- y_{i} (f_{m - 1} (x_{i}) + α_{m} G_{m} (x)))

因为 $y_{i} f_{m - 1} (x)$ 与优化变量 $α$ 和 $G$ 无关，所以令 $w_{m, i} = e x p (- y_{i} f_{m} (x))$

栏目列表

python基础教程之集成学习之AdaBoost算法(4)