集成学习之Xgboost(4)|python教程|python入门|python教程

当前位置:

Ω (Θ)

：指惩罚复杂模型。

其中，误差/损失函数鼓励我们的模型尽量去拟合训练数据，使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后，有限数据拟合出来结果的随机性比较小，不容易过拟合，使得最后模型的预测更加稳定。

2. 回顾加法模型：

其中对于预测模型采用加法策略可以表示如下：

初始化(模型中没有树时，其预测结果为0)： ${\hat{y}}_{i}^{(0)} = 0$

往模型中加入第一棵树： ${\hat{y}}_{i}^{(1)} = f_{1} (x_{i}) = {\hat{y}}_{i}^{(0)} + f_{1} (x_{i})$

往模型中加入第二棵树： ${\hat{y}}_{i}^{(2)} = f_{1} (x_{i}) + f_{2} (x_{i}) = {\hat{y}}_{i}^{(1)} + f_{2} (x_{i})$

　　　　　　　　　　　　　　　　　　…

往模型中加入第t棵树： ${\hat{y}}_{i}^{(t)} = \sum_{k = 1}^{t} f_{k} (x_{i}) = {\hat{y}}_{i}^{(t - 1)} + f_{t} (x_{i})$

其中 $f_{k}$ 表示第 $k$ 棵树， ${\hat{y}}_{i}^{(t)}$

栏目列表

python入门教程之集成学习之Xgboost(4)